Предисловие

Настоящее издание предназначено для студентов (прежде всего –

магистрантов) тех специальностей, которые изучают теорию вероятностей как
отдельный предмет. Оно включает в достаточно подробном изложении вопросы,
которые не освещены (или освещены недостаточно) в пособиях [4,5],
выпущенных кафедрой высшей математики, а также в учебниках [1 – 3]. Более
подробно изучаемые в пособии вопросы освещены в учебниках [6,7]. Пособие
отличается тем, что в нем компактно выделены вопросы, включенные в
стандарт курса теории вероятностей для технических специальностей, а также
приведены задачи для решения в аудитории или самостоятельно, многие из
которых являются оригинальными.
Каждый параграф содержит теоретическую часть и задачи, что позволяет
студентам глубоко изучить достаточно сложный материал.
Теоретическая часть содержит не только формулы и теоремы, но
практически во всех случаях – и их подробные доказательства, то есть
представляет собой по существу краткий конспект лекций по разделу «Основы
теории случайных процессов». Впрочем, доказательство некоторых несложных
утверждений учащемуся предлагается выполнить самостоятельно.
Задачи, предлагаемые студентам для решения в каждом параграфе, также
часто носят теоретический характер. Кроме того, включены:
задачи на моделирование простейших случайных процессов;
задачи численного характера.
Некоторые из вычислительных задач удобно решать с использованием
компьютерных программ, например, в среде Excel. В частности, она содержит
подпрограммы умножения матриц и возведения их в степень, что в ручном

1
режиме требует много времени и внимания.

Введение

Очевидно, что многие процессы, происходящие в окружающей нас жизни,

содержат элементы непредсказуемости, то есть случайности.
Случайными можно считать процессы: изменения погоды, уличного
движения, загруженности кассиров в супермаркете, распространения эпидемии
гриппа, изменения счета в футбольном матче, биржевых курсов. Примеры
каждый может продолжить самостоятельно.
Тем не менее в основе теории вероятностей лежит уверенность в том, что
случайные явления (случайные события, случайные величины, случайные
процессы) имеют свои закономерности, которые можно формализовать
математически и изучать. Ясно, что такое изучение случайных процессов во
всей их полноте – задача чрезвычайно сложная и полностью при каждом
текущем уровне развития математики неразрешимая.
В этом пособии мы ограничимся постановкой некоторых задач теории
случайных процессов и рассмотрим достаточно подробно самые простые из
них – так называемые марковские случайные процессы. Будут изучены также
основы корреляционной теории таких процессов и теории СМО (систем
массового обслуживания).

1. Общее понятие и классификация случайных процессов

Понятие «случайный процесс» можно определять по-разному.

В интуитивном (содержательном) смысле случайный процесс (СП) – это
процесс случайного изменения состояний некоторой системы,
разворачивающийся во времени. Так как состояние системы описывается

2
одним или несколькими случайными признаками (дискретными или
непрерывными), то приходим к понятию случайной функции.
Согласно строгому математическому определению случайный процесс
или случайная функция (эти понятия обычно считают равнозначными) – это
случайная величина, зависящая от параметра t, который условно будем
называть временем. Такую функцию можно обозначать X (t ).

Напомним, что понятие случайной величины (дискретной или

непрерывной) вы изучали в общем курсе теории вероятностей (см., например,
учебники [1,3,4]).
Замечание 1.1. В общем случае рассматривается система
взаимосвязанных случайных функций, то есть случайный вектор X (t)

¿ ( X 1 ( t ) , X 2 ( t ) , … , X n ( t )) . Однако мы в дальнейшем ограничимся случаем

одномерного СП.
Важными для дальнейшего являются понятия реализации и сечения СП.
Под реализацией (или траекторией) понимаем неслучайную (т.е.
обычную) функцию x(t), описывающую ход СП после его завершения (или
части процесса, соответствующую уже прошедшему времени). Аналогией
является конкретное значение случайной величины, ставшее известным после
испытания. Например, реализацией является график суточного хода
температуры воздуха, построенный по результатам наблюдений.
Сечением случайного процесса является случайная величина X (t 0 ) при
фиксированном значении t 0 будущего времени (то есть эта величина еще не
реализовалась или, например, нам эта реализация еще не известна). Такая
величина может иметь определенный закон распределения, причем он может
быть безусловным или условным в зависимости от наличия и объема
информации о поведении СП в предыдущие моменты времени. Так, разброс
возможных значений температуры воздуха в 12 часов дня 20 июля в
Новосибирске (без дополнительных условий) может быть достаточно велик, но
он значительно уменьшается, если мы знаем температуру воздуха 18 и 19 июля.

3
 Из этого примера, в частности, видно, что большое практическое
значение имеет изучение взаимосвязей между сечениями. Этим занимается
корреляционная теория случайных процессов.
Если все безусловные (то есть рассматриваемые изолированно, без связи
с остальными) сечения СП в каждый из допустимых моментов времени имеют
одинаковый закон распределения, то процесс называется однородным.
Дальнейшая классификация СП основана на том, что как время, так и
состояния системы могут быть как дискретными, так и непрерывными.
1. Наиболее общий случай собственно случайной функции реализуется
при непрерывных состояниях и времени. В качестве примера можно
рассмотреть тот же процесс изменения температуры воздуха.
2. Если эту температуру фиксировать не постоянно, а, скажем, с
интервалом в 10 минут, то фактически приходим к понятию СП с
непрерывными состояниями и дискретным временем. Математически удобно в
таких случаях нумеровать моменты времени целыми числами (например,
t=0,1,2,3, … ).
3. Примером СП с непрерывным временем и дискретными состояниями
может служить любая система, которая имеет несколько возможных состояний,
между которыми может переключаться в случайные моменты времени.
Например, автоматическая стиральная машина сама переключает режимы:
стирка, полоскание, отжим,… Если таких состояний всего 2, то систему
называют пуассоновским переключателем (подробнее такая система
рассмотрена в 9).
4. СП с дискретными временем и состояниями в простейшей форме
осуществляется в виде последовательных испытаний Бернулли [4, лекция 4].
Под «временем» в этом случае понимают номер испытания i=1,2, … .
Реализацией процесса является последовательность «успехов» и «неуспехов»,
например, 0,1,1,1,0,1,0, 0,1,0,… Сечением же – простейшее распределение для
любого номера испытания (напоминаем, испытания Бернулли считаются
независимыми):

4
X(i
0 1
)
P q p

Заметим, что этот процесс является однородным именно потому, что это
распределение одинаково для каждого момента времени.
Рассматривают также процессы с последействием и без последействия.
К последним относят процессы, для полного описания сечений которых в
любой будущий момент достаточно знать его состояние в текущий момент
времени, а предыдущее развитие процесса не играет роли. К таковым
относится, например, процесс азартной игры (скажем, на рулетке): все, что
может произойти с игроком в будущем, полностью определяется суммой денег
у него на руках в настоящий момент и не зависит от предыдущих перипетий
игры.
В качестве примера неоднородного СП без последействия рассмотрим те
же испытания Бернулли, но с накоплением успехов, т.е. заменим приведенную
выше последовательность нулей и единиц последовательностью
0,1,2,3,3,4,4,4,5,5,… (это возможная реализация процесса). Сечения этого
процесса описываются формулой Бернулли: для любого номера испытания
i=1,2, … и любого значения числа накопленных успехов k =0,1,2, …i
P ( X ( i ) =k ) =Cik pk qi−k .

Процесс изменения температуры воздуха является неоднородным

(средняя ожидаемая температура различается по времени года и суток) и
процессом с последействием (дальнейшее изменение температуры
определяется не только ее нынешним значением, но и тенденцией предыдущего
изменения).

5
 Задачи

1.1. Рассмотреть понятия реализации и сечения для процессов игры в

крестики-нолики, в «тетрис» и в шахматы. Классифицировать их по всем
указанным выше признакам.
1.2. Пусть игрок с начальным капиталом 5 единиц ставит в каждом туре 1
на «красное», причем вероятность выигрыша постоянно равна 0,4, а выигрыш
или проигрыш всегда составляет 1. С помощью компьютерного моделирования
построить несколько реализаций процесса игры (при достижении суммы 0
процесс заканчивается). Является ли этот процесс однородным?
2. Марковские случайные процессы

Марковскими называются случайные процессы, которые

характеризуются следующими свойствами:
1) Состояния системы дискретны, т.е. их можно перечислить:
S 1 , S2 , … , S n (число состояний может быть конечным или счетным,
причем нумерация состояний может иногда быть произвольной);
2) Переходы между состояниями происходят мгновенно (на
практике это значит, что время перехода пренебрежимо мало по
сравнению со временем пребывания в каждом состоянии);
3) Возможные переходы и соответствующие им вероятности не
зависят от предыдущих состояний системы (процесс без
последействия).
Систему, в рамках которой происходит марковский СП (МСП), обычно
описывают с помощью графа состояний. Приведем сначала
Пример 2.1. Имеется некоторая техническая система (например,
компьютер в офисе), возможные состояния которой и возможные переходы
между ними изображены на следующей схеме (рис. 2.1):

6
 Рис. 2.1
Опишем ситуацию в общем виде (см. рис. 2.2). Состояния системы
изображаем квадратами или прямоугольниками, внутри каждого из которых
можно разместить символ состояния S i (иногда достаточно только номера i)
или описание состояния, возможные переходы – стрелками. В некоторых
случаях показывают и переходы из состояния в него же.

Рис. 2.2
Результатом является ориентированный граф состояний (его также
можно называть схемой СП).
Граф состояний считаем связным, т.е. не распадающимся на отдельные,
никак не связанные части (такие части следует рассматривать как различные
графы состояний различных МСП).
Определим понятия источника (И) и поглотителя (П). Так называются
(см. рис. 2.3) соответственно те состояния, в которые нет входов, и те, из
которых нет выходов:

7
 Рис. 2.3
Те же названия можно перенести на подмножества состояний (см. рис.
2.4): если из подмножества есть только выходы, то это подмножество также
называют источником. Аналогично определяется и подмножество-поглотитель.
Во всех случаях подмножество считается собственным, то есть не пустым и не
совпадающим со всем множеством состояний.

Множество-источник Множество-поглотитель

Рис. 2.4
Замечание 2.1. Понятия источника и поглотителя не всегда определены
однозначно. Например, в следующей простой схеме (рис.2.5)

Рис. 2.5

8
источником можно считать как состояние 1, так и множество, включающее
состояния 1 и 2. То же относится и к поглотителям.
Очевидно, что любому множеству-источнику соответствует множество-
поглотитель, являющееся его дополнением (то есть включающее все остальные
состояния), и наоборот.
Отдельным классом МСП являются случайные блуждания. Например, в
случае двумерного случайного блуждания состояния совпадают с узлами
квадратной (треугольной, шестиугольной) сетки (ограниченной или
распространяющейся на всю плоскость), а переходы из каждого узла возможны
во все ближайшие к нему узлы и только в них. Например, для простейшей
квадратной сетки (рис.2.6):

Рис. 2.6
Одномерные случайные блуждания называют также процессами
рождения и гибели. В качестве примера рассмотрим (рис. 2.7) схему с тремя
транзитными узлами, одним отражающим (правый узел) и одним
поглощающим (левый узел):

Рис. 2.7

9
 Процессы размножения и гибели рассматриваются, в частности, в теории
систем массового обслуживания (СМО). Рассмотрим (рис.2.8) в качестве
примера схему работы простейшей из них – одноканальной СМО с
неограниченной очередью (магазин с одним кассиром):

Рис. 2.8
Подробнее о процессах рождения и гибели, а также о СМО мы
поговорим в главах 11,12.

Задачи

2.1. Перечислить все источники и поглотители на схеме, изображенной

на рис.2.9.

Рис. 2.9
2.2. Проверить, что графы, представленные на рис.2.10, эквивалентны (т.е.
переходят друг в друга при некоторой перенумерации состояний).

10
 Рис. 2.10

3. Цепь Маркова

Марковский процесс с дискретным временем называется цепью

Маркова (ЦМ). Моменты времени будем обозначать целыми числами, начиная
с 0:

t=0, 1,2, 3, … , k ,… Считаем, что процесс (ЦМ) имеет конечное число

возможных состояний S 1 , S2 , … , S i , … , S n .
Граф цепи Маркова (ГЦМ) отличается от общего случая указанием
переходных вероятностей.
За один шаг во времени (номер шага обозначим также буквой k, причем
шаги нумеруем от 1) можно перейти в другое состояние, либо остаться в этом
же (рис. 3.1):

Рис. 3.1

11
 Каждому возможному переходу соответствует переходная вероятность
pi j , понимаемая как условная вероятность перехода за 1 ход (то есть за

единицу времени). Точнее: пусть запись S ( k )=S i обозначает, что в момент

времени k процесс находится в состоянии S i . Тогда
pi j=P S (k−1 )=S ( S ( k )=S j ) .
i
(3.1)
В частности, pi i есть вероятность отсутствия перехода (система
остается в состоянии S i ). Значения pi j определены при всех i, j , но

обращаются в 0, если соответствующая стрелка на графе состояний

отсутствует. В противном случае будем считать, что pi j >0 .
В общем случае переходные вероятности могут меняться со временем, то
есть pi j ¿ p i j ( k ) . Однако в дальнейшем мы будем считать, что это не так:
вероятности pi j постоянны (в этом случае цепь Маркова называется
однородной).
Так как возможные переходы из любого состояния образуют полную
группу событий, то
∑ pi j=1 для всех i . (3.2)
j

Составим матрицу переходных вероятностей (или просто матрицу

перехода):
A=( p i j ) .

Матрицей перехода может служить любая матрица n ×n ,

удовлетворяющая свойствам:
а) все элементы неотрицательны;
б) выполняется условие (3.2) (стохастическое свойство).
Сама матрица, удовлетворяющая этим свойствам, также называется
стохастической.
Замечание 3.1. Стохастическое свойство сохраняется при перемножении
квадратных матриц (докажите это самостоятельно!).
Пример 3.1. ЦМ задана графом, представленным на рис. 3.2:

12
 Рис. 3.2
Замечание 3.2. Для упрощения вида графа можно (как на этой схеме)
опускать стрелки, указывающие отсутствие перехода. Соответствующие им
вероятности легко вычислить, исходя из свойства б).
Соответствующая матрица перехода имеет вид:

( )
0 ,5 0 0 0,5
0 ,3 0 , 7 0 0
A=
0 ,1 0 , 2 0 , 4 0 , 3
0,6 0,4 0 0

Установим связь между свойствами матрицы A и сформулированными

в предыдущем параграфе понятиями источника и поглотителя.
Определение 3.1. Квадратная матрица порядка n называется матрицей
с нулевым углом, если равны нулю все элементы, стоящие на пересечениях
первых m ее столбцов и последних n−m строк (0< m<n ).
Наглядно нулевой угол должен быть прямоугольником, занимающим
левый нижний угол матрицы и «достающим» до ее диагонали. Разумеется, это
не обозначает, что матрица не может иметь и другие нулевые элементы.
Теорема 3.1. Цепь Маркова имеет источники и поглотители тогда и
только тогда, когда при некоторой нумерации состояний ее матрица имеет
нулевой угол.
Доказательство почти очевидно. Пусть ЦМ имеет некий И, содержащий
m состояний (дадим им номера 1 ,2, 3, … , m ) и соответствующий ему П,

содержащий остальные n−m состояний (номера от m +1 до n ). По

13
определению И и П переходы из второй группы состояний в первую
отсутствуют, что и соответствует нулевым значениям вероятностей, входящих в
соответствующий угол матрицы.
В случае цепи Маркова под реализацией понимают список состояний,
соответствующих каждому моменту времени, например, S 1 , S 4 , S2 , S 2 , …

(подробнее: S ( 0 )=S1 , S (1 )=S 4 , S ( 2 )=S2 , S ( 3 )=S 2 ,… ).

Под сечением процесса понимают набор вероятностей обнаружить
процесс в каждом из состояний в определенный момент времени. Этот список
можно записать, как вектор ṕ ( k )=( p 1 ( k ) , p2 ( k ) , … , pi ( k ) , … , p n ( k ) ) , фактически

представляющий собой ряд распределения дискретной случайной величины –

номера состояния, в котором находится процесс в момент времени k =0,1 ,2, …
. Поэтому
∑ pi ( k ) =1 при любом k . (3.3)
i

Вектор ṕ ( k ) в дальнейшем будем называть вектором распределения

вероятностей (ВРВ) на k -м шаге.
Выведем равенство Маркова, связывающее векторы ṕ ( k ) и ṕ ( k −1 ) при
k =1,2,…
Пусть S ( k )=S j (то есть известно, что в момент времени k система
находится в состоянии S j ¿ . Рассмотрим все возможные состояния в момент
времени k −1 . Они образуют полную группу, поэтому можно применить

формулу полной вероятности, согласно которой

p j ( k ) =P ( S ( k )=S j )=¿ ∑ P ( S ( k −1 )=Si ) ∙ PS ( k−1)=S ( S ( k )=S j ) =∑ p i ( k−1 ) ∙ pi j
i
i i

(учтено равенство (3.1)).

Суммирование происходит по всем n возможным состояниям на
предыдущем шаге (напомним: если переход Si в Sj невозможен, то
pi j=0 ¿ .

В матричной форме полученное равенство Маркова

p j ( k ) =∑ pi ( k−1 ) p i j
i

можно записать так:

14
 ṕ ( k )= ṕ ( k −1 ) A .

Например, в примере 3.1

( )
0 ,5 0 0 0,5
0 ,3 0 , 7 0 0
ṕ ( k )= ṕ ( k −1 ) ,
0,1 0,2 0,4 0,3
0,6 0,4 0 0

что по координатам можно записать в виде:

p1 ( k )= p1 ( k−1 ) 0, 5+ p2 ( k−1 ) 0 , 3+ p3 ( k−1 ) 0 , 1+ p 4 ( k−1 ) 0 , 6 ;
p2 ( k )=¿ p2 ( k−1 ) 0 , 7+ p3 ( k−1 ) 0 , 2+ p 4 ( k −1 ) 0 , 4 ;

p3 ( k )=¿ p3 ( k−1 ) 0 , 4 ;

p4 ( k ) =¿ p1 ( k−1 ) 0 ,5+ p 3 ( k−1 ) 0 ,3.

Равенство Маркова, очевидно, допускает итерации: например, при k ≥ 2

ṕ ( k )= ṕ ( k −2 ) A 2
и т.д. В частности, получаем равенства
ṕ ( k +m )= ṕ ( k ) Am
(матрица A
m
является матрицей перехода за m шагов; согласно замечанию
3.1 она также всегда является стохастической),
ṕ ( k )= ṕ ( 0 ) Ak . (3.4)
Вектор ṕ ( 0 ) называем вектором начального распределения
вероятностей. Если, например, известно, что в начальный момент система
находилась в состоянии S i , то этот вектор является соответствующим

координатным вектором (координата с номером i равна 1, остальные равны 0).

Задачи

3.1. Докажите теорему о сохранении стохастического свойства при

умножении квадратных матриц.
3.2. Для процесса испытаний Бернулли (см. рис 3.3)

15
 Рис. 3.3
составить матрицу перехода за 1 шаг. Найти матрицы перехода за 2 и 3 шага.
Сделать вывод.
3.3. В условиях примера 3.1 найти матрицы переходов за 2 и 3 шага.
Пусть известно, что в начальный момент состояние цепи S 3 . Найти

вероятность того, что через 3 шага система придет в состояние S 4 . Тот же

вопрос, но при условии, что она пройдет последовательно через S 1 , S 2 . Те

же вопросы, но известно, что ṕ ( 0 )=(0,1 ; 0,2; 0,3 ; 0,4) .

3.4. В феврале не бывает двух подряд солнечных дней. Если погода
солнечная, то завтра она изменится: с равной вероятностью будет дождь или
снег. Если сегодня снег или дождь, то завтра погода с вероятностью ½ не
изменится, а в половине остальных случаев будет солнечно.
Сегодня снег. Определить вероятности снега, дождя и солнечной погоды
на послезавтра.
3.5. Три книги лежат в стопке. Перед сном человек с равной
вероятностью выбирает одну из них, а потом кладет сверху. Построить ГЦМ и
матрицу переходов для следующих процессов:
а) изменение положения одной книги (3 возможных состояния);
б) изменение порядка всех трех книг (6 возможных состояний).
3.6. У стандартной игральной кости противоположными являются грани 1
и 6, 2 и 5, 3 и 4. При каждом ходе ее поворачивают с той грани, на которой кость
лежит, на любую из соседних с равной вероятностью. Составить матрицу
переходов. Убедиться, что матрица переходов за 2 шага не содержит нулей. Что
это значит?
3.7. Игрок с начальным капиталом 2 единицы ставит каждый раз 1
единицу и выигрывает с вероятностью 0,4. Игра заканчивается либо при
разорении игрока, либо при удвоении начального капитала. Построить ГЦМ как
схему одномерного случайного блуждания и матрицу переходов для процесса
игры. Найти матрицы переходов через 2, 4, 8 туров игры и соответствующие
ВРВ. (Замечание: матрицу A 4 удобно вычислять как квадрат матрицы A 2 , и
т.д.).
16
 3.8. Первоначально в первой урне содержалось 3 белых шара, во второй –
3 черных. При каждом ходе перекладывают 2 шара, случайно выбранных в
каждой урне. Составить матрицу переходов. Найти вероятность того, что за 3
хода состояние урн изменится на противоположное.

4. Стационарные и финальные распределения вероятностей

Перейдем к формулировке и доказательству основных теорем теории

ЦМ.
Определение 4.1. Стационарным распределением вероятностей (СРВ)
¿ ¿ ¿ ¿
называется вектор ṕ =( p1 , p2 , … , p n) , удовлетворяющий равенству
ṕ¿ =ṕ ¿ A . (4.1)
Это значит, что стационарное РВ не меняется за один шаг. Следовательно,
оно не меняется и за любое число шагов.
Из равенства (4.1) очевидно вытекает равенство
¿
ṕ ( A−E )=0,

которое представляет собой однородную систему линейных уравнений

относительно координат вектора ṕ¿ . Из стохастического свойства (3.2)

вытекает, что матрица А – Е вырождена (сумма элементов каждой строки равна

нулю). Значит, однородная система имеет бесконечное множество решений.
Для выбора нужного решения дополнительно используют условие (3.3), то есть
вектор ṕ¿ можно найти как решение системы линейных уравнений

{ ṕ ¿ ( A−E )=0
∑ p ¿i =1
i
(4.2)

Таким образом, доказана

Теорема 4.1. Любая ЦМ имеет хотя бы одно СРВ.
Заметим, что система (4.2) содержит n+1 уравнение на n

неизвестных, но, как уже сказано, матрица A−E вырождена, то есть ее

столбцы, являющиеся коэффициентами первых n уравнений, линейно

17
зависимы. Это значит, что по меньшей мере одно уравнение выражается через
остальные, т.е. его можно вычеркнуть из системы. Если ранг матрицы A−E

меньше, чем n−1 , то количество линейно независимых векторов p¿1 , p¿2 , …

т.е. независимых СРВ цепи Маркова, соответственно увеличивается.

Рассмотрим простейший пример ЦМ с двумя поглотителями (рис. 4.1):

Рис. 4.1

( ) ( )
1− p−r p r −p−r p r
Легко сосчитать, что A= 0 1 0 , A−E= 0 0 0 . Таким
0 0 1 0 0 0

образом, система уравнений (4.2) сводится к { p¿1=0

p ¿2+ p¿3 =1
и имеет множество

решений ( 0 , ∝, 1−∝ ) , где 0 ≤∝ ≤1 (так как все вероятности должны быть

неотрицательны). Основными (фундаментальными) решениями являются
p¿1=¿ ¿
векторы (0; 1; 0) и p2=¿ (0; 0; 1). Смысл этих СРВ очевиден.
Определение 4.2. Распределение вероятностей q́=( q 1 , q 2 , … , q n )

называется финальным (ФРВ), если существует последовательность

распределений вероятностей на k–ом шаге, имеющая пределом q́ при
k →∞ :

ṕ ( 0 ) , ṕ ( 1 ) , … , ṕ ( k ) … → q́ . (4.3)
Теорема 4.2. Любое стационарное распределение вероятностей является
финальным, и наоборот.
Доказательство.
¿
Пусть ṕ¿ – СРВ. Примем его за начальное: ṕ ( 0 )= ṕ . Из (4.1) вытекает,
¿
что и при любом k будет ṕ ( k )= ṕ . Пределом постоянной
последовательности векторов является тот же вектор, т.е. в (4.3) q́= ṕ¿ .

18
 Пусть теперь q́ – ФРВ. Используем равенство (3.4) и учтем, что при
k →∞ будет и k −1→ ∞ :
q́=l ℑ ( ṕ ( 0 ) ∙ A k )=l ℑ ( ṕ ( 0 ) ∙ A k−1 ) A=q́ ∙ A ,
k→ ∞ k →∞

что соответствует определению СРВ.

Таким образом, ФРВ можно находить тем же способом, что и СРВ. В
дальнейшем будем говорить только об ФРВ, применяя для него обозначение
q́ .

Теорема 4.3. Если ФРВ q́ содержит нулевые компоненты, то цепь

Маркова содержит источники и поглотители.
Доказательство. Пусть q́ содержит нули. Изменив нумерацию
состояний, можно считать, что на первых m местах стоят нули, а остальные
элементы положительны:
q́=( 0, … , 0, qm +1 , … , q n ) .

Используем равенство (4.1): q́=q́ ∙ A . Рассмотрим, например, первый

(нулевой) элемент в левой части. Он получается умножением элементов

вектора q́ в правой части на элементы первого столбца матрицы A :
0=0 ∙ p1 1 +0 ∙ p2 1 +…+0 ∙ pm 1 +qm +1 ∙ pm +1,1+ …+q n ∙ pn 1 .

Учитывая, что любые вероятности неотрицательны, а q m+1 ,…, q n

строго положительны, видим, что это равенство возможно, только если все
элементы первого столбца матрицы A , начиная с (m+1) -го, обращаются в

ноль. Так же рассматриваются и дальнейшие столбцы – до m-го. Таким

образом, матрица A содержит нулевой угол в полном соответствии с
определением 3.1. Остается применить теорему 3.1.
Легко видеть, что свойство нулевого угла сохраняется при умножении
матриц, то есть выполняется для матриц A
k
при любом k ≥1 . Это

соответствует тому очевидному факту, что свойства источника и поглотителя не

зависят от числа шагов. Отсюда получаем
Следствие. Если при некотором k матрица A
k
не содержит нулевых
элементов, то цепь не имеет источников и поглотителей.

19
 Условие « A k при некотором k не содержит нулей» называется
условием Маркова. Если оно выполнено при некотором k, то, очевидно,
выполняется и при всех дальнейших.

Задачи

4.1. Докажите сформулированные выше теоремы:

а) свойство нулевого угла сохраняется при перемножении матриц;
б) Если условие Маркова выполнено при некотором k, то оно выполняется
и при всех дальнейших.
4.2. Нарисуйте схематически матрицу с нулевым углом. Продолжив его
границы далее, разбейте всю матрицу на 4 части. Объясните смысл элементов
каждой из них.
4.3. Найти все ФРВ для цепей, описанных в задачах 3.4 – 3.8.
Выполняется ли для них условие Маркова?
4.4. Выполняется ли условие Маркова для цепей, заданных на рис.4.2?

Рис. 4.2

5. Эргодические цепи Маркова

Определение 5.1. Цепь Маркова, не содержащая источников и

поглотителей, называется эргодической.
Теорема 5.1. Цепь является эргодической тогда и только тогда, когда из
любого состояния S нач за конечное число шагов можно попасть в любое
другое состояние S кон (назовем это условием доступности).
Доказательство.

20
 Если цепь содержит И и П, то очевидно, что условие доступности
нарушается, если S нач ∈ П , а S кон ∈ И .
Пусть теперь цепь не содержит И и П. Выберем любое состояние S нач и
рассмотрим множество U тех состояний, до которых вообще можно
добраться из него (за любое число шагов). Тогда дополнение U является
источником. Действительно, если бы существовал хотя бы один возможный
переход (стрелка) из U в U , то состояние, в котором эта стрелка

оканчивается, по определению принадлежало бы к U . Но ни одно состояние

не может принадлежать одновременно множеству и его дополнению.
Так как, по условию, цепь источников не содержит, то U=∅ , что и

требовалось доказать.
Заметим здесь, что условие Маркова является более сильным, чем
условие доступности, так как оно требует, чтобы любые переходы между двумя
состояниями реализовывались за одно и то же число шагов k. Ниже на
примерах мы покажем эту разницу наглядно.
Но сначала докажем теорему о том, что из условия Маркова вытекает
сильная эргодичность ЦМ.
Теорема 5.2. Если для ЦМ выполнено условие Маркова, то:
1) Матрица Ak с ростом k стабилизируется к матрице A∞ ,
все строки которой одинаковы:

( )
q1 q2 . qn
∞
A =l ℑ A
k q1 q2 . qn
= ;
k→∞
. . . .
q1 q2 . qn

2) Вектор q́=( q 1 , q 2 , … , q n ) является единственным ФРВ, то есть

при любом начальном РВ ṕ ( 0 )

( ṕ ( 0 ) ∙ Ak ) =¿ q́
l ℑ ṕ ( k )=lim ¿
k →∞ k→∞

(назовем это условием стабилизации или, как сказано выше,

условием сильной эргодичности ЦМ).
21
 Доказательство.
Пусть матрица B= Al не содержит нулевых элементов. Рассмотрим ее
m ∞
степени B m= A ml . Достаточно доказать, что l m ℑ
→∞
B ¿A .

Рассмотрим элементы любого столбца (с номером j) матрицы

B
m+1
=B ∙ B
m
. Они представляют собой суммы произведений элементов того же
столбца матрицы B
m
на соответствующие элементы некоторой строки
матрицы B . Так как сумма этих элементов строки равна 1, то результат

можно рассматривать как математическое ожидание ДСВ, значения которой

заданы j-ым столбцом матрицы B
m
. Используем свойство математического
ожидания: если среди этих значений есть хотя бы 2 различных (а если все они
равны, то стабилизация j-ого столбца уже произошла!) и если все вероятности
положительны (см. выше условие «матрица B не содержит нулевых
элементов»), то результат лежит строго между наименьшим и наибольшим
элементами j-ого столбца матрицы B
m
. Поскольку это относится ко всем
элементам j-ого столбца матрицы B m+1 , то при переходе от Bm к B m+1
«вилка» между наименьшим и наибольшим элементами каждого столбца
уменьшается. Это и значит, что при m→ ∞ элементы каждого столбца
стабилизируются к константе. Утверждение 1) доказано.
Для доказательства утверждения 2) достаточно записать
❑
l ℑ ṕ ( k )=l ℑ ( ṕ ( 0 ) ∙ A k )= ṕ ( 0 ) ∙ A ∞ ¿
k →∞ ¿

и учесть, что j-ый элемент результата имеет вид ∑ pi ( 0 ) ∙ q j =q j .

i

Напомним, что способ нахождения вектора q́ без вычисления

пределов дан в гл. 4.
Суть теоремы 5.2 в том, что при выполнении условия Маркова начальные
условия для ЦМ после большого промежутка времени становятся
несущественными: процесс, начавшийся достаточно давно, имеет РВ, близкое к
q́ .

22
 Условие Маркова нарушается не только для цепей с источниками и
поглотителями, но и для цепей с циклами.
Определение 5.2. Циклическое множество порядка k – состояние или
множество состояний, в которые система обязательно возвращается через
каждые k шагов. Совокупность связанных циклических множеств называется
циклом.
Пример 5.1. Рассмотрим (см. рис. 5.1) простейшую ЦМ – цикл,
содержащий 3 циклических множества порядка 3 (каждое включает 1
состояние):

Рис. 5.1

Очевидно, что

( ) ( )
0 1 0 0 0 1
2 3
A= 0 0 1 , A = 1 0 0 , A =E .
1 0 0 0 1 0

Эта ЦМ несомненно является эргодической, но условию Маркова не

подчиняется. Легко убедиться, что, например, при начальном РВ (1,0,0)

никакой стабилизации не происходит (т.е. цепь не является сильно

эргодической).
В общем случае цикл порядка k содержит k циклических множеств,
связанных по той же схеме. При этом переходы внутри этих множеств
запрещены, а между ними возможны только по такой же круговой схеме.
Впрочем, в отличие от примера 5.1, вероятности переходов могут и отличаться
от 1 (см. ниже задачу 5.2).

23
 Цепь может содержать также состояния вне цикла, из которых в цикл
есть входы, но нет выходов (в этом случае цикл обладает свойством
поглотителя). Наконец, цепь может содержать и несколько циклов, в том числе
и разного порядка.
Очевидно, что переходы между разными циклическим множествами,
входящими в цикл порядка k, за k шагов невозможны. То же верно для 2 k ,3 k
и т.д. шагов, то есть условие Маркова выполняться не может. Таким образом,
доказано прямое утверждение следующей основной теоремы Маркова.
Теорема 5.3. Для любой ЦМ условие Маркова выполняется тогда и
только тогда, когда она не содержит источников, поглотителей и циклов.
Обратное утверждение этой теоремы (из отсутствия И, П и Ц вытекает
выполнение условия Маркова, а, следовательно, и сильная эргодичность)
доказывается достаточно сложно. Это доказательство мы опустим.

Задачи

5.1. Найти ФРВ для примера 5.1.

5.2. 4 состояния ЦМ расположены по кругу. При каждом ходе происходит
перемещение по часовой стрелке с вероятностью p(0< p<1) или в обратном
направлении с вероятностью 1− p .
Почему для этой ЦМ не выполняется условие Маркова (проверить это
вычислением!)? Найти ФРВ.
5.3. То же – при трех состояниях ЦМ.
5.4. Построить граф и матрицу переходов для ЦМ, содержащей 2 цикла –
2-го и 3-го порядков.
5.5. Дана матрица переходных вероятностей цепи Маркова за 1 шаг.

( ) ( ) ( )
0 1 0 0 0 0,2 0 0 ,8 0 1 0 0
0 0 1 0 0,6 0 0,4 0 0,4 0 0,1 0,5
а) 0,3 0 0 0,7
; б)
0 0,8 0 0 ,2
; в)
0 1 0 0
0 1 0 0 0 0 0 1 0 1 0 0

Найти соответствующие матрицы за 2, 4, 8 шагов. Сделать вывод.

Построить граф состояний цепи, представив его в наиболее наглядном
виде. Определить, содержит ли он источники, поглотители, циклы.
24
 Найти все финальные распределения вероятностей.
Найти, если она существует, финальную матрицу переходов.

6. Потоки Пуассона и Эрланга

Под потоком случайных событий понимаем последовательность

однородных событий, упорядоченных во времени. Случайными (то есть
непредсказуемыми) являются моменты наступления каждого события (считаем,
что это происходит мгновенно).
В качестве примеров можно рассмотреть потоки:
покупателей, входящих в булочную;
автомобилей, проезжающих мимо наблюдателя на загородном шоссе
(этот поток можно считать суммой двух потоков в двух направлениях);
входных звонков на станции сотовой связи;
новых комет, открытых астрономами.
Список примеров каждый может дополнить сам.
Ясно, что для математического изучения потока имеют значение не сами
события по существу, а только последовательность t1 , t2 , t3 … , tn , … времен их
наступления (см. рис. 6.1). В дальнейшем считаем, что эта последовательность
состоит из строго возрастающих положительных чисел.

Рис.6.1
С потоком событий можно связать следующие случайные величины (о
понятии, видах и свойствах случайных величин см. [4, лекции 5 – 8]).
Дискретная случайная величина X [τ 1 , τ 2 ] – число событий,
произошедших за указанный интервал времени.
Непрерывная случайная величина T (τ ) – время ожидания первого
события потока, начиная с данного момента времени τ .

Наиболее простыми законы распределения этих величин являются в

25
случае простейшего потока событий, называемого также пуассоновским
(ППС).
Определение 6.1. Пуассоновским называется поток, обладающий
свойствами однородности, ординарности и отсутствия последействия.
Определение 6.2. Однородность – свойство, состоящее в том, что
характеристики потока постоянны во времени. Более точная математическая
формулировка: все характеристики описанной выше случайной величины
X [τ 1 , τ 2 ] не зависят от расположения отрезка [τ 1 , τ 2] на оси времени, а
только от его длины.
Понятие однородности позволяет ввести фундаментальную
характеристику ППС – его плотность, т.е. среднее число событий в единицу
времени:
λ=M ( X [0, 1]) (6.1)
(как уже сказано, отрезок [0,1] можно заменить любым отрезком времени
длиной 1).
Замечание 6.1. На практике потоки событий обычно бывают локально
однородными: интенсивность дорожного движения или работы телефонной
сети существенно зависят от времени суток, дня недели или даже времени года.
Но на небольшом промежутке времени поток обычно можно считать
однородным.
Определение 6.3. Ординарность потока событий состоит в том, что
события в нем происходят «по одному», то есть:
а) всегда разделены (пусть очень малым) промежутком времени;
б) для малого промежутка времени вероятность наступления в течение
него двух или более событий потока много меньше такой же вероятности
для одного события, и это различие вероятностей тем больше, чем
меньше интервал времени.
Замечание 6.2. Для достижения ординарности иногда можно объединять
неотделимые друг от друга события: например, считать свадебный кортеж

26
автомобилей за одну «единицу движения» или считать гостей ресторана не по
одному, а «компаниями», которыми они приходят. Известны случаи, когда
астрономы открывали группы комет, движущихся вместе. Такое событие
считается за одно астрономическое открытие.
Определение 6.4. Отсутствие последействия в потоке событий
означает, что в каждый данный момент «будущее» потока никак не зависит от
его «прошлого». Более точная формулировка: если два интервала времени не
перекрываются (в частности, примыкают друг к другу), то любые связанные с
этими интервалами случайные величины независимы.
В частности, это свойство обозначает, что каждое отдельное событие
потока происходит независимо от остальных.
Пример 6.1. Поток пассажиров, входящих в метро, можно считать
пуассоновским. Но для потока выходящих пассажиров по понятным причинам
нарушаются все три определяющие свойства.

На основе определения 6.1 докажем две основные теоремы.

Теорема 6.1. Если поток событий является пуассоновским, то случайная
величина X [0,1] распределена по закону Пуассона с параметром λ [1, гл.6,
§5]:
λk
pk =P ( X [ 0 , 1 ] =k ) =e−λ , k =0,1,2,3, … (6.2)
k!
Доказательство. Разделим единицу времени на n равных частей
1
длиной ∆ t= n . При больших n , согласно свойству ординарности, в каждом

таком малом интервале происходит не более одного события из потока, и выше

указано, что для разных интервалов это происходит независимо. Далее,
согласно свойству однородности, вероятность p наступления события для
каждого из этих интервалов одинакова. Таким образом, получили классическую
схему Бернулли: n независимых испытаний при одинаковой вероятности
успеха p в каждом из них. В [4, с.49 – 50] указано, что математическое

27
ожидание числа успехов (в данном случае событий потока на промежутке
времени [ 0 ,1 ] ) равно n p . Сравнивая с (6.1), получаем:
p=λ ∆ t

или
λ
p= .
n

Теперь применим формулу Бернулли [4, с.28]:

k n−k
λ λ
pk ≈C kn ( )( )
n
1−
n
(6.3)

(заметим, что на этом этапе формула является приближенной, так как для
конечного интервала длины ∆t правило ординарности выполняется не
абсолютно; но в дальнейшем мы устремим n к бесконечности и получим
точный результат).
Преобразуем последнюю формулу:
λ n λ n
pk ≈
( )
1−
n ( n−1 ) … ( n−k +1 ) λ k n
=
λk n n−1 n−k + 1
…
1−
n
=¿
( )
k k
k! n λ k! n n n λ k
( ) 1−
n
1−
n ( )
1 k−1
1− 1−
λk n
1 n n λ
¿
k! λ
1− 1−
λ
…
1−
λ
1−
n( )
n n n
и заметим, что при n→∞ каждая из k промежуточных дробей имеет
пределом 1, а последнее выражение представляет собой известный в
математическом анализе «второй замечательный предел» и дает в пределе e−λ
.
Теорема 6.1 доказана.
Замечание 6.3. Напомним, что, согласно свойству однородности формула
(6.2) верна для любого промежутка времени длиной 1. Нетрудно
распространить ее и на промежуток любой длины t . Он содержит nt

1
элементарных промежутков длины ∆ t= . Заменим в (6.3) n на nt
n

(точнее, на ближайшее целое число, что также перестает быть существенным

28
 λ
при n → ∞ ), но не заменяя p= (так как для элементарного отрезка
n

вероятность наступления события не изменилась) и повторив последующие

вычисления (проделайте это самостоятельно!), получим:
(λt) k
pk =P ( X [ 0, t ]=k )=e−λt , k =0,1,2,3, … , (6.4)
k!
что обозначает: для отрезка времени длины t среднее значение
(математическое ожидание) числа событий равно λt (для такого интервала
надо просто заменить в (6.1) λ на λt ). Это позволяет переходить в ряде

случаев к более удобным единицам времени (большие значения параметра λ

неудобны для вычислений по формуле (6.2)).

Пример 6.2. Пусть известно, что среднее число посетителей отделения
Сбербанка в час составляет 18 человек. Для вычислений по формуле Пуассона
удобно взять за основной промежуток времени 5 минут. Тогда для подстановки
в (6.2) достаточно взять λ=1,5.
Напомним, что величина λ (соответственно λt ) совпадает также с

математическим ожиданием и дисперсией случайной величины X [ 0 ,1 ] или

X [ 0,t ] (см. [9, II-3]).
Теорема 6.2. Случайная величина T (τ ) распределена по
показательному закону с параметром λ [4, с.65]:

F ( t )= { 0,
− λt
t ≤0 ,
1−e , t > 0.

Замечание 6.4. Как видно из этой формулы, распределение времени

ожидания случайного события ППС не зависит от времени τ начала
ожидания. Это полностью соответствует фундаментальным принципам
однородности и отсутствия последействия для ППС. Таким образом,
случайные сгущения или разрежения потока никак не учитываются при его
дальнейшем изучении. Поэтому далее мы будем рассматривать просто
случайную величину T вместо T ( τ ) .
Доказательство теоремы 6.2.

29
 По определению [4, с.51], при любом значении t функция F ( t ) равна
вероятности того, что T <t (время ожидания случайного события окажется
меньшим, чем t ¿ . Перейдем к противоположному событию, вероятность

которого равна 1−F ( t ) : за время t не произошло ни одного события, т.е.

T ≥ t . Это значит, что в формулу (6.4) достаточно подставить k =0 и

получить:
P (T ≥t )=e−λt . (6.5)
Отсюда имеем:
P (T <t )=F ( t ) = 1−e− λt , (6.6)
что и требовалось.
Напомним, что, согласно [5, с.66],
1 1
M ( T )= , D ( T )= 2 . (6.7)
λ λ
Например, в условиях примера 6.2 среднее время ожидания клиента
составляет 3 минуты 20 секунд. Этот пример показывает важность
распределений Пуассона и показательного для математического анализа так
называемых систем массового обслуживания (СМО). Ниже эти вопросы будут
рассмотрены более подробно.

Рассмотрим еще 2 важных свойства ППС.

Теорема 6.3 (суммирование простейших потоков).

При одновременном учете двух независимых ППС их плотности
суммируются.
Доказательство.

30
 Рис.6.2
На рис.6.2 указаны потоки плотностей λ и μ , а также суммарный

поток событий. Докажем, что для него также верна формула (6.2), но с
параметром λ+ μ . Обозначим число событий в единицу времени для

суммируемых потоков X 1 и X 2 , а для суммарного – X . Тогда X =X 1 + X 2

, и любое значение k для X можно получить как сумму случаев, когда
X1 принимает любое значение i от 0 до k , а X2 – значение k −i .

Запишем это как формулу сложения вероятностей:

k
P ( X=k )=∑ P ( X 1=i, X 2=k−i ) .❑
i=0

Ввиду независимости потоков можно перейти к произведению вероятностей и

использовать формулу (6.2):
k
λ i −μ μk −i 1 k!
e −λ
e =¿ e−( λ+μ) ∑ λi μ k−i
i! (k −i)! k ! i=0 i! (k −i)!
k ,
P ( X=k )=∑ ¿
i=0

а последняя сумма представляет собой разложение бинома Ньютона для

k (λ + μ) k
(λ+ μ) . Получили: P ( X=k )=e −(λ+μ )
, что и требовалось.
k!
Замечание 6.5. Так как суммарный поток вновь является потоком
Пуассона, то теорема 6.3 позволяет добавлять следующий независимый поток.
Таким образом, эта теорема распространяется на любое число независимых
пуассоновских потоков.
Теорема 6.4. Распределение величины T (времени ожидания) не
зависит от времени предыдущего ожидания.

31
 Доказательство. Пусть от момента начала ожидания случайного события
(примем этот момент за 0) прошло уже время τ. Найдем условную
вероятность того, что ожидание продлится еще по меньшей мере t единиц
времени. Для краткости обозначим события: A :T ≥ τ , B :T ≥ τ +t . Используем
формулу условной вероятности [4, с.24](очевидно, в данном случае A B=B ):
P(B)
P A ( B )=
P(A )
и подставим (6.5):
e−λ(τ +t) −λt
P A ( B )= =e ,
e−λτ
что, согласно той же формуле (6.5), совпадает с безусловной вероятностью того,
что время ожидания не менее, чем t , без учета предыдущего времени

ожидания.
Заметим, что в доказательстве по существу использовано свойство именно
показательной функции.
Теорема 6.4 особенно наглядно демонстрирует правило отсутствия
последействия в ППС. Если бы городские маршрутные автобусы подчинялись
правилам ППС, то обычный на остановке вопрос: «Давно не было автобуса?»
был бы бессмысленным.

Перейдем к описанию потока Эрланга (ПЭ). Так называется

сгруппированный пуассоновский поток событий. При этом события
объединяются в группы по одному (тогда поток Эрланга так и остается потоком
Пуассона), по 2, по 3, … по m . Число m называется порядком ПЭ. Иначе
говоря, событием потока Эрланга считается каждое m-е событие потока
Пуассона.
Пример 6.3. На большой птицефабрике поток яиц на конвейере можно
считать пуассоновским, а поток 30-местных ячеек, в которые они пакуются –
эрланговским порядка 30.

32
 Аналогично можно рассмотреть знакомый многим процесс заполнения
маршрутного такси на конечной остановке.
Очевидно, что для потока Эрланга нарушаются свойства однородности и
отсутствия последействия. Даже для потока порядка 2 дальнейшее поведение
потока сильно зависит от того, какое из двух событий мы ждем – первое или
уже второе. Поэтому в качестве случайной величины TЭ (время ожидания)
будем рассматривать время, отсчитываемое не от произвольного момента
времени, а только от последнего события ПЭ, то есть интервал между двумя
его событиями. Этот интервал состоит из m «пуассоновских» интервалов:
T Э =T 1 +T 2+ …+T m ,

причем, согласно правилу отсутствия последействия, слагаемые в этой сумме

независимы. Поэтому их математические ожидания и дисперсии складываются,
т.е. из (6.7) следует, что
m m
M ( T Э )= , D (T Э)= 2 .
λ λ
Найдем выражения для интегральной FЭ(t ) и дифференциальной
f Э ( t ) функций этой величины. Очевидно, что событие « T Э ≥ t » равносильно

событию «за время t число событий ППС составило от 0 до m−1 », а

вероятности этих событий вычисляются по формуле (6.4). Отсюда при t> 0

F Э ( t )=1−P ( T Э ≥ t ) =1−P ( 0 ) −P ( 1 ) −…−P ( m−1 ) =¿
2
( λt)m−1
¿ 1−e − λt
( λt ( λt )
1+ +
1! 2 !
+…+
( m−1 ) ! ).
Эта формула дальше не сворачивается, но интересно заметить, что
выражение в скобках является частичной суммой ряда – разложения функции
e λt . Зато после дифференцирования получим
2 m−1 2 m−1
f Э ( t )=λ e − λt
( λt ( λt)
1+ +
1! 2 !
+…+
( λt)
( m−1 ) ! ) ( λt
−e−λt λ + λ+
1!
( λt)
2!
λ+…+
( λt )
( m−1 ) !
λ ).
Очевидно, что уничтожаются все слагаемые, кроме последнего, т.е.
( λt)m−1
f Э ( t )=λ e− λt
( m−1 ) !
(напомним, при t< 0 обе функции F Э ( t ) и f Э ( t ) обращаются в 0).
33
 Представляет интерес случай очень больших m . Это значит, что каждое
событие ПЭ состоит из многих «элементарных» событий. Например, можно
отдельными каплями дождя, собирая их через воронку, наполнять мерный
стакан. Поскольку события ПЭ происходят в m раз «реже», чем события
ППС, то можно ввести соответствующую плотность событий ПЭ:
λ
μ= .
m
Тогда формулы (6.7) переписываются так:
1 1
M ( T Э )= , D ( T Э ) = 2 .
μ mμ
Последняя формула обозначает, что при больших m дисперсия становится
1
малой и величина T Э приближается к постоянной, равной μ
. Так обстоит

дело с «макрособытиями» в статистической физике: поток воды наполняет

сосуд за вполне определенное время, хотя молекулы в нем движутся хаотично.

Задачи

1. Составить примеры потоков событий на разные комбинации трех

основных свойств.
2. Исходя из вашего жизненного опыта, оцените, какими свойствами

обладает поток пациентов на приеме у врача в поликлинике.

3. Составьте ряд распределения по формуле Пуассона при λ=1,5 (см.
пример 6.2) и при λ=0,10. Постройте соответствующие многоугольники
распределения и графики интегральной функции распределения. Найдите
математическое ожидание и среднее квадратическое отклонение.
4. В течение часа коммутатор получает в среднем 100 вызовов. Найти

вероятность того, что за 30 секунд сбоя в его работе не пропущено ни одного

вызова.
5. Известно, что за время от 0 до t произошло ровно одно событие
ППС. Доказать, что при этом дополнительном условии распределение времени

34
ожидания T является равномерным на отрезке [ 0,t ] (о равномерном
распределении см. [4, с.63]).
6. Рассматриваются два ППС с плотностями 1 и 2. Найти вероятность

того, что первое событие первого из потоков наступит раньше, чем второго.
Найти в этом случае среднее время ожидания события.
У к а з а н и е. Рассмотрите двумерное распределение величины ( T 1 ; T 2 ) ,
считая компоненты независимыми (см. [4, лекция 15]).
7. Пуассоновский поток заряженных частиц средней плотностью 10

частиц в секунду регистрируется счетчиком. Рассмотрим значения величины

T 1 000 , равной интервалу между переключениями на счетчике цифры тысяч.

Найдите математическое ожидание и среднее квадратическое отклонение этой

величины.

7. Марковский процесс с непрерывным временем

В главе 2 подробно описаны:

понятие марковского процесса;
его описание с помощью графа состояний и возможных переходов;
понятия источника и поглотителя.
Здесь мы рассмотрим элементы описания процесса с непрерывным
временем (в дальнейшем для краткости будем называть его просто
марковским процессом (МП)). Основное его отличие состоит в том, что
моменты возможных переходов из одного состояния в другое не фиксированы
во времени. Переход может состояться в любой момент, если соответствующая
возможность задана стрелкой на графе (см. рис. 7.1):

Рис 7.1

35
 При этом ключевым понятием, связанным с этой стрелкой, является не
вероятность перехода в фиксированный момент, а время ожидания этого
перехода, если известно, что в данный момент система находится в состоянии
S i . Как объяснялось в предыдущей главе, это время является случайной

величиной T i j , распределенной по показательному закону, параметр которого

λi j называется плотностью потока переходов в направлении из состояния
Si в состояние S j . На самом деле поток состоит из одного перехода, после
которого рассматриваются уже стрелки, выходящие из S j . Впрочем, при

продолжении процесса один и тот же переход может осуществляться много раз.

Существенна величина, обратная к λi j , т.е. среднее время ожидания перехода
(см. (6.7)):
1
M (T i j )=
λi j . (7.1)

Именно число λi j и указывают для каждой стрелки.

Если из состояния выходит несколько стрелок, как на рис. 7.2,

Рис.7.2

то соответствующие потоки суммируются согласно теореме 6.3. Реально

происходит тот переход, который оказывается первым на оси времени.
Согласно той же теореме, плотность суммарного потока равна
λi =∑ λi j (7.2)
j ≠i

(можно учесть все состояния, если отсутствующим стрелкам присвоить

нулевые плотности).
Обратная величина
1
M ( T i )=
λi

36
представляет собой среднее время пребывания в состоянии S i с учетом всех
возможных направлений выхода из него. Можно также записать
1
M ( T i )=
1 1
+ +…
M (T i 1) M (T i 2 )

(но здесь суммирование в знаменателе происходит только по реально

существующим выходящим направлениям).
Все плотности переходов составляют матрицу Колмогорова

( )
−λ1 λ1 2 .
Λ= λ 21 −λ 2 . .
. . −λn

Удобство расположения отрицательных величин по диагонали будет объяснено

позже. Пока заметим, что в силу равенств (7.2) сумма элементов каждой строки
матрицы равна нулю. Это правило позволяет «автоматически» заполнять
диагональ матрицы. Согласно известным свойствам определителей это также
значит, что матрица Колмогорова вырождена, в частности, не имеет обратной.
Пример 7.1. Пусть марковский процесс задан графом (рис. 7.3):

Рис.7.3
Соответствующая ему матрица Колмогорова имеет вид:

( )
−1 1 0 0
Λ= 0 −4 4 0
0 2 −5 3
2 5 0 −7

Отметим также следующие отличия непрерывного марковского процесса

от цепи Маркова:

37
 1) стрелки, ведущие в то же состояние, становятся излишними,
так как в любом своем состоянии система и так находится в течение
определенного времени;
2) зацикливание системы исключено именно в силу случайных
времен ожидания переходов (то есть даже движение по тому же циклу
состояний будет каждый раз происходить за разное время).
Однако теорема 3.1 о матрице с нулевым углом полностью сохраняется.
Пример 7.2. Автоматическая метеостанция обслуживается двумя
электрическими генераторами. Средний срок безаварийной работы каждого
генератора 7 суток. При выходе из строя генератора немедленно включается
запасной, причем средний срок ремонта — 1 сутки.
Составим (рис. 7.4) граф возможных состояний системы, состоящей из
двух генераторов, учитывая, что за время ремонта основного генератора может
выйти из строя и запасной.

Рис.7.4
Дадим пояснения к рис.7.4.
Состояния системы: 0 – работает один генератор, второй исправен; 1 –
работает один генератор, второй в ремонте; 2 – оба генератора в ремонте
(аварийное состояние — система обесточена). Проще говоря, цифра в
квадратике обозначает число генераторов, находящихся в ремонте.
Переходы: 0→1 и 1→2 соответствуют поломке работающего генератора.
Так как, по условию, среднее время ожидания такого перехода
1
M ( T 0 1 )=M ( T 12 ) =7 , то, согласно формуле (7.1), λ0 1 = λ1 2 = . Из тех же
7

1
соображений λ1 0= =1 , но при одновременной работе ремонтников над
T 10

38
двумя агрегатами соответствующие потоки событий (окончание ремонта)
складываются, поэтому λ2 1=2.
Составить для этого примера матрицу Колмогорова для Вас не составит
труда.
Задачи
.
7.1. Заполните до конца следующую матрицу Колмогорова:

( )
? 0 2 0
Λ= ? −5 1 2 .
? ? 0 ?
? 1 1 −2

Постройте граф соответствующего марковского процесса. Имеет ли он

источники и поглотители? Если да, то перенумеруйте состояния процесса так,
чтобы его матрица содержала нулевой угол.
В задачах 7.2 – 7.5 требуется построить граф марковского процесса и
составить для него матрицу Колмогорова.
7.2. В условиях примера 7.2 рассмотреть вариант с одной бригадой
ремонтников (то есть при выходе из строя второго агрегата его ремонт
начинается только после окончания ремонта первого).
7.3. Для двух предыдущих случаев рассмотреть вариант, когда в
штатном режиме должны работать оба генератора (указание: потоки
возможных отказов суммируются).
7.4. Те же задачи — в случае, если срок безаварийной работы второго
генератора составляет 3 суток. Рассмотреть варианты:
а) приоритет первого генератора: по окончании его ремонта его
немедленно включают, а второй выключают;
б) отсутствие приоритетов.
7.5. Придумать еще варианты задачи о двух генераторах.

39
 8. Вывод уравнений Колмогорова

Как и для цепей Маркова, введем вектор распределения вероятностей

(ВРВ), но с непрерывным временем в качестве аргумента ( n – число
состояний, из которых состоит граф МС):
ṕ ( t )=( p 1 ( t ) , p2 ( t ) , … , pi ( t ) , … , p n ( t ) ) .

Очевидно, pi ( t ) есть вероятность обнаружить систему в состоянии S i

в момент времени t , т.е.
pi ( t )=P ( S ( t )=Si ) . (8.1)
Так как указанные события составляют полную группу (в данный момент
времени система находится в одном и только в одном состоянии), то для
любого значения t (сравните с (3.3))
n

∑ pi ( t ) =1. (8.2)
i=1

Обычно считают t ∊ ¿ (иногда рассматривают только конечный отрезок

оси времени или, напротив, всю ось (−∞,+ ∞ ) ).
Уравнения Колмогорова, описывающие изменение во времени
компонент ВРВ, являются, естественно, дифференциальными. Приступим к их
выводу.
Рассмотрим малый промежуток времени [t, t + Δt] и соответствующее
изменение одной из компонент вектора, например, p j , соответствующей
состоянию S j :
Δ p j= p j ( t+ Δt )− p j ( t ) . (8.3)
Для вычисления p j ( t+ Δt ) применим формулу полной вероятности [4,
с.26], учитывая, что в момент времени t система могла в принципе
находиться в любом из своих состояний, включая и S j :
p j ( t+ Δt )=P ( S ( t+ Δt )=S j )=∑ P ( S ( t )=Si ) ∙ P S (t )=S ( S ( t+ Δt )=S j ) .
i
i

Первые множители в последней сумме, согласно (8.1), есть просто pi ( t ) ,

а вторые представляют собой:
а) при i≠ j – вероятность перехода из S i в S j за время Δ t , то есть
P ( T i j< Δ t ) . Используем формулу (6.6): P ( T i j< Δ t )=1−e−λ Δ t ≈ λi j Δ t (учтена ij

известная из математического анализа формула эквивалентности e ≈ 1+ ∝ для ∝

малых ∝ );

40
 б) при i= j – вероятность отсутствия перехода за время Δ t из
состояния S j в любое из остальных состояний. Согласно (7.2), плотность
потока таких переходов есть λ j . Как и в случае а), вероятность выхода из
S j за время Δ t равна λ j Δt , соответственно, вероятность отсутствия перехода
равна 1−λ j Δt .
Учитывая все это, запишем:
p j ( t+ Δt )= p j ( t ) ( 1−λ j Δt ) + ∑ pi ( t ) ∙ λi j Δt ,
i≠ j

откуда и из (8.3)
Δ p j=−λ j p j Δt + ∑ λi p i Δt ,
i≠ j

Δ pj
=−λ j p j +∑ λi j pi .
Δt i≠ j

Отметим, что ввиду применения в а), б) формул эквивалентности все эти

равенства являются приближенными, но, устремив Δt к нулю, получим
точное равенство
d pj
=−λ j p j + ∑ λ i j p i ,
dt i≠j

которое и называется уравнением Колмогорова.

В дальнейшем будем использовать сокращенное обозначение производной

d pj
по времени = ṕ j и учтем, что равенство верно при каждом j , то есть мы
dt
получили систему уравнений Колмогорова:
ṕ j =−λ j p j + ∑ λi j p i , j=1, 2, … , n . (8.4)
i≠ j

Замечание 8.1. Входящие в (8.4) произведения вида λi j pi называются

потоками вероятности в направлении (по соответствующей стрелке на графе
системы) из состояния S i в состояние S j . Таким образом, входящая в (8.4)
сумма является суммой входящих в Sj потоков вероятности. Но и первое
(пока без учета знака минус) слагаемое тоже представляет собой, согласно
(7.2), сумму выходящих из S j потоков вероятности. Таким образом, получаем
простое правило, позволяющее составлять систему уравнений по виду графа
случайного процесса: для каждого состояния правая часть уравнения есть
разность между суммой всех входящих и суммой всех выходящих потоков
вероятности.
41
 Замечание 8.2. Введенная в предыдущей главе матрица Колмогорова Λ

позволяет записать систему (8.4) в виде одного матричного дифференциального

уравнения:
´ṕ= ṕ ∙ Λ . (8.5)
Пример 8.1. Для процесса, заданного в примере 7.1, система уравнений в
матричной форме записывается как

( )
−1 1 0 0
´ṕ= ṕ 0 −4 4 0
,
0 2 −5 3
2 5 0 −7

а в скалярной:

{
ṕ 1=2 p 4− p1 ,
ṕ 2=p 1+ 2 p3 +5 p4 −4 p2 ,
ṕ3 =4 p2 −5 p3 ,
ṕ4 =3 p 3−7 p4

(здесь слагаемые переставлены согласно правилу, сформулированному в

замечании 8.1).
Замечание 8.3. Из правила построения матрицы Λ вытекает, что,
d
dt ∑ j
складывая все уравнения системы (8.4), получим: p =0 , то есть эта

сумма остается постоянной (убедитесь в этом для случая в примере 8.1). Это
согласуется с равенством (8.2). Это равенство, как более простое, можно
присоединить к системе (8.4), что позволяет в некоторых случаях (см.,
например, ниже пример 9.1), упростить процесс решения системы
дифференциальных уравнений. Такую систему уравнений (дифференциальные
плюс одно алгебраическое) назовем расширенной системой уравнений
Колмогорова.

Задачи
1. Составьте систему уравнений Колмогорова для процесса, заданного в
примере 7.2.

42
 2. То же – для процессов, описываемых в задачах 7.1 – 7.5.

9. О решении системы уравнений Колмогорова

Пример 9.1. Очевидно (см. рис. 9.1), что простейшая из осмысленных

марковских систем включает два состояния и два направления переходов:

Рис.9.1
Такая система называется пуассоновским переключателем. В некотором
приближении такой системой является стационарный или сотовый телефон,
если считать, что он может находиться только в двух состояниях: ожидание и
разговор.
Нетрудно составить матрицу Колмогорова

(
Λ= −λ λ
μ −μ )
и расширенную систему уравнений Колмогорова:

{
ṕ 1=μ p 2−λp1 ,
ṕ 2=λp1−μ p2 ,
p 1+ p 2=1.

Решим эту систему, сведя ее к одному уравнению: подставив в первое

уравнение p2=1− p1 , получим:

ṕ1+ ( λ+ μ ) p1=μ .

Это уравнение можно решить изученными вами в курсе высшей

математики методом Бернулли ( p1 ( t )=u ( t ) v (t) ) или методом
характеристического уравнения ( p1 ( t )= p общ+ p частн ). Опуская этот процесс,
запишем его результат – общее решение системы:
μ
p1 ( t )=c ∙ e−( λ+ μ) t + ,
λ+ μ

43
 λ
p2 ( t )=1−p 1=−c ∙ e− ( λ+ μ )t + .
λ +μ
В качестве упражнения запишите частное решение при начальных
условиях p1 ( 0 )=1, p 2 ( 0 )=0 (в начальный момент система находится в
состоянии S 1 ).
Однако очевидно, что независимо от начальных условий показательные
слагаемые быстро приближаются к нулю, то есть распределение вероятностей
μ λ
приближается к стационарному: p¿1= , p¿2= . Это значит, что со
λ+ μ λ+ μ
временем начальные условия процесса становятся несущественными и что в
каждом из состояний процесс проводит определенную долю времени. Такое
поведение характерно для любых эргодических марковских процессов, о чем
подробнее будет сказано далее.
Однако для процессов, более сложных, чем пуассоновский
переключатель, точное решение системы дифференциальных уравнений
вызывает существенные трудности. Рассмотрим некоторые возможные
подходы к решению.

1. Матричный метод.
dx
Известно, что обычное дифференциальное уравнение =a ∙ x ( a –
dt

число!) при начальном условии, задающем x ( 0 ) , имеет решение x ( t )=x ( 0 ) e at

. Это позволяет по аналогии (строгие математические доказательства мы здесь
не даем) записать решение матричного уравнения (8.5) в виде
ṕ ( t )= ṕ ( 0 ) e Λt .

Здесь введено новое понятие: показательная функция от матрицы. Также

без доказательства (по аналогии с обычной показательной функцией) дадим
соответствующее определение в двух формах:
n
Λt
Λt
а) e =l ℑ E+ n ;
n →∞
( )
Λt Λ2 t 2 Λ3 t 3
б) e Λt =E+ + + +…
1! 2! 3!
44
 Эти формулы (в особенности вторая) позволяют построить
вычислительные алгоритмы, которые при малых значениях времени дают
быстро сходящийся результат. Большие же промежутки времени следует
n
разбивать на малые (лучше одинаковые) и применять формулу e Λt=( e Λt/ n ) .

2. Метод операционного исчисления.

Этот метод использует преобразование Лапласа, которое переводит
функцию x ( t ) , заданную при t ∊ ¿ , в новую функцию ^x ( s ) нового
аргумента s , также принадлежащего ¿ , по формуле
+∞
dt .
−t s
^x ( s ) =∫ x (t ) e
0

Существенными свойствами преобразования Лапласа являются

следующие:
1) обратное преобразование дается формулой
+∞
x ( t )=∫ ^x ( s ) e+t s d s ; (9.1)
0

2) производная функции преобразуется по формуле

^x́ ( s ) =−x ( 0 ) + s ^x ( s ) . (9.2)
Последнее равенство позволяет превращать дифференциальные
уравнения в алгебраические. Так, применяя его к системе (8.5), получим
^ṕ ( s )( s E− Λ )= ṕ ( 0 )

(начальное распределение вероятностей ṕ ( 0 ) для вычислений всегда должно

быть задано). Решив эту алгебраическую систему уравнений, а затем применив
обратное преобразование (9.1), получим ответ. К сожалению, матрица системы
s E− Λ содержит по диагонали переменную s , поэтому при решении

системы (например, по формулам Крамера) элементы вектора ^ṕ ( s )

выражаются через эту переменную сложными дробями, что затрудняет

обратное преобразование по формулам (9.1).

45
 Рассмотрим также методы численного моделирования поведения
марковских систем во времени.

3. Метод Эйлера.
Начиная снова с начального вектора ṕ ( 0 ) , выберем малое приращение

Δt и заменим в (8.4) производную отношением малых приращений:

Δ pj
≈−λ j p j (0)+ ∑ λ i j p i (0) .
Δt i≠ j

Учитывая (8.3), имеем расчетную формулу:

p j ( Δ t )= p j ( 0 )+ −λ j p j (0)+ ∑ λi j pi (0) Δt .
( i≠ j )
Затем принимаем полученный вектор ṕ ( Δ t ) за начальный и повторяем
процесс до достижения заданного значения t .
Заметим, что в вычислительной математике разработаны и другие
методы: уточненный метод Эйлера, метод Рунге-Кутта, которые позволяют при
небольшом увеличении объема вычислений повысить их точность на несколько
порядков.

4. Моделирование траекторий (реализаций процесса).

Пусть в определенный момент времени t система перешла в состояние
S i . Найдем момент и направление следующего перехода. Для каждой

выходящей из Si стрелки (см. схему в гл.2) найдем случайный момент

перехода по формуле
1
ti j= ln(R ND ), (9.3)
λi j

где, как обычно в прикладных программах, под R ND понимаем случайное

число, равномерно распределенное на отрезке [0,1] . Формула (9.3)
фактически задает функцию, обратную к интегральной функции (6.6).
Поскольку реализуется наиболее ранний из переходов, то выбираем меньшее из
чисел ti j и прибавляем его к t . Тем самым получим и новое состояние

системы, и время перехода в него. Надо еще задать в момент t=0 любое
46
начальное состояние (например, S 1 ). Результатом вычислений является

таблица, содержащая номера состояний и моменты переходов между ними. При

достаточно долгом наблюдении процент времени, которое система проводит в
каждом состоянии, должен приближаться к стационарному распределению
вероятностей (см. следующую главу).

Задачи

9.1. (Циклический переключатель с 3 состояниями)

Время безотказной работы компьютера, время ожидания ремонта и время
самого ремонта — случайные величины, распределенные по показательному
закону с параметрами соответственно λ, μ,τ . По окончании ремонта
компьютер немедленно включается в работу.
По аналогии с примером 9.1 найти аналитически решение системы
уравнений Колмогорова методом последовательного исключения неизвестных.
Найти стационарное распределение вероятностей.
9.2. Система имеет 3 состояния и возможные переходы только из
первого состояния во второе и из второго в третье с одной и той же плотностью
λ . В начальный момент система находится в первом состоянии. Решив

систему уравнений Колмогорова, найти для любого значения времени

вероятность нахождения системы во втором состоянии.
9.3. Для матрицы Λ , заданной в примере 7.1, вычислить Λ
2
и Λ
3
.
Убедиться, что для них также выполняется свойство матрицы Колмогорова:
сумма элементов любой строки равна нулю.
9.4. Докажите, что такое сохранение сумм выполняется для любых
степеней любых матриц Колмогорова. Выведите отсюда теорему о сумме
элементов строк матрицы e Λt .
9.5. Составьте программу вычисления с заданной точностью
показательной функции от матрицы по формуле б). Примените ее в случае
примера 7.1 при t=0,1 и t=0,10.
9.6. Докажите равенство (9.2), применяя интегрирование по частям.
9.7. Для пуассоновского переключателя составьте программу

47
моделирования траекторий по вышеописанному методу. Проследите ее до 100
переходов. Найдите среднее время пребывания системы в каждом из состояний.
9.8. Проделайте то же в условиях примера 7.1.

10. Стационарные распределения вероятностей. Эргодический

процесс

Определение 10.1. Стационарным распределением вероятностей (СРВ)

назовем распределение вероятностей, не зависящее от времени.
¿ ¿ ¿ ¿ ¿
Обозначим такое распределение вероятностей ṕ =( p1 , p 2 , … , p i , … , p n) .
Теорема 10.1. Любой МП имеет хотя бы одно СРВ.
Доказательство. Если числа p¿i постоянны, то их производные по
времени обращаются в ноль, поэтому система уравнений Колмогорова
превращается в алгебраическую систему линейных уравнений
ṕ¿ Λ=0́ .

(символом 0́ обозначен нулевой вектор-столбец высоты n ).

Эта однородная система имеет бесконечное множество ненулевых
решений, т.к. матрица Λ вырождена (сумма ее столбцов равна нулевому
столбцу). Нужное решение выделяется с помощью дополнительного условия
(8.2) – сумма всех компонент вектора ṕ¿ равна 1.
Теорема доказана. Дополнительно мы получили способ нахождения
стационарных решений: они являются решением линейной алгебраической
системы уравнений (сравните с системой (4.2))

{
ṕ¿ Λ=0́ ,
n
(10.1)
∑ p ¿i =1.
i=1

Замечание 10.1. В соответствии с правилом, сформулированным в

замечании 8.1, все уравнения (кроме последнего) в этой системе можно
составлять, приравнивая для каждого состояния процесса входящие в него и
выходящие из него потоки вероятностей. При этом в силу вырожденности
48
матрицы Λ хотя бы одно из этих уравнений лишнее. Действительно, каждой
стрелке соответствует поток вероятностей, выходящий для одного из состояний
и входящий для другого. Баланс потоков, составленный для всех состояний,
кроме одного, автоматически обеспечивает баланс и для него.
Однако такая система может иметь и более одного (вернее, бесконечное
множество) решений – в зависимости от ранга матрицы Λ .
Пример 10.1 (витязь на распутье).
Рассмотрим (рис.10.1) систему с тремя поглотителями:

Рис.10.1
Составим для нее матрицу Колмогорова:

( )
−λ−μ−ν λ μ ν
0 0 0 0
Λ= .
0 0 0 0
0 0 0 0

Очевидно, что система (10.1) в этом случае сводится к двум уравнениям:

{
¿
p 1=0,
¿ ¿ ¿ ¿
p 1+ p2 + p3 + p4 =1.

Ее основные решения: (0,1,0,0); (0,0,1,0); (0,0,0,1). Их смысл очевиден.

Определение 10.2. Марковский процесс, не содержащий источников и
поглотителей, называется эргодическим.
Теорема 10.2. МП является эргодическим тогда и только тогда, когда из
любого состояния S нач за конечное число шагов можно попасть в любое
другое состояние S кон (назовем это условием доступности).
Мы привели эти определение и теорему здесь только для удобства
читателя, поскольку они полностью совпадают с определением 5.1 и теоремой
5.1 (это делает излишним доказывать теорему еще раз).
49
 Однако далее появляется существенное различие, состоящее в том, что
важное для цепей Маркова понятие цикла отсутствует в случае МП, как уже
объяснялось в гл.7.
Основную теорему об эргодических процессах, также принадлежащую
А.А.Маркову, приведем без доказательства.
Теорема 10.3. Если МП является эргодическим, то:
1) существует единственное СРВ ṕ¿ , причем все p¿i строго
положительны;
2) при любом начальном ВРВ ṕ ( 0 ) с ростом времени вектор
ṕ ( t ) приближается к вектору ṕ¿ с экспоненциальной скоростью, то
есть существуют такие положительное числа с и α (их можно

вычислить по данным графа МП), что

| ṕ ( t ) − ṕ ¿|≤ c e−α t ;
3) при неограниченном по времени наблюдении за процессом
доля времени, проведенного им в каждом из состояний Si ,
¿
приближается к соответствующим стационарным вероятностям pi .
Свойство 2) позволяет называть вектор ṕ
¿
не только стационарным, но
и финальным распределением вероятностей (ФРВ).
Свойство 3) (об усреднении по длительным промежуткам времени)
обычно и называют сильной эргодичностью. Оно (часто интуитивно)
используется на практике. Например, метеорологи по результатам многолетних
наблюдений делают выводы, скажем, о норме продолжительности
метеорологической весны в данном регионе.
Задачи

10.1. Доказать, что условие сходимости векторов: l ℑ | ṕ ( t )− ṕ¿|=0

t →∞

¿
эквивалентно покоординатной сходимости: l t →∞
ℑ pi ( t )= p i .

10.2. Убедиться, что СРВ, полученные выше при решении примера 9.1 и
задачи 9.1, совпадают с теми, которые можно получить, решая для этих случаев
50
систему уравнений (10.1).
10.3. Для СП, включающего 3 возможных состояния, дано: λ1 2=λ 3 1=1 ,

λ1 3=2 , λ2 3=4 , остальные переходы невозможны. Найти для этого процесса

СРВ.
10.4. Найти СРВ для процессов, заданных в примере 7.2 и в задачах 7.1 –
7.5.

11. Процессы рождения и гибели

Так образно называют линейные процессы.

Определение 11.1. Линейным называют такой марковский процесс, в
котором переходы возможны лишь между состояниями с соседними номерами
(отличающимися на 1).
Замечание 11.1. Очевидно, что линейным можно считать и процесс,
становящийся линейным после некоторой перенумерации состояний.
Граф линейного процесса с n состояниями, очевидно, имеет вид,
изображенный на рис. 11.1 (запишем только номера состояний):

Рис.11.1
Очевидно, что графы, приведенные на рис. 7.3 и 10.1, привести к
линейному виду нельзя.
Замечание 11.2. Иногда нумерацию состояний удобнее начинать с нуля.
Рассматривают также бесконечные в одну или две стороны графы.
Замечание 11.3. Очевидно, что для процесса, заданного рисунком 11.1,
матрица Колмогорова имеет специальный вид: отличны от нуля только
элементы главной диагонали и двух соседних с ней. Такие матрицы называют
трехдиагональными. Они удобны для применения прямых вычислительных
методов, что мы сейчас и будем использовать.

51
 Ясно, что, если хотя бы одно из чисел λi , μi обращается в ноль (или,
что то же самое, соответствующая стрелка отсутствует), то процесс перестает
быть эргодическим и содержит источники и поглотители. Фактически граф в
этом случае просто укорачивается. Этот случай неинтересен (см., впрочем
задачи 11.1, 11.2), поэтому в дальнейшем будем считать, что все λi , μ i> 0 . Это,

в соответствии с теоремой 10.3, гарантирует существование и единственность

СРВ ṕ¿ . Чтобы найти его компоненты, составим для них уравнения по

правилу, сформулированному в замечании 10.1.

Для состояния S 1 равенство потоков вероятностей обозначает:
μ1 p¿2 =λ1 p ¿1 , (11.1)
откуда
¿ λ1 ¿
p2 = p . (11.2)
μ1 1

Для состояния S 2 :
¿ ¿ ¿ ¿
λ1 p 1+ μ 2 p3=μ 1 p2 + λ2 p2 ,

но часть этого уравнения уже содержалась в (11.1) (действительно, для S 2 по

сравнению с S1 потоки, соответствующие первой паре стрелок, одни и те
же). Получим, по аналогии с (11.2),
λ2 ¿
p¿3= p , (11.3)
μ2 2

а объединив (11.2) и (11.3):

λ1 λ 2 ¿
p .
¿
p3 =
μ1 μ2 1

Действуя далее таким же образом, получим для i=1,2, … , n−1

λ1 λ 2 … λi ¿
p¿i+1= p .
μ1 μ 2 … μi 1

Теперь учтем еще последнее уравнение системы (10.1) и получим:

p¿1 ∙ S=1 ,

где
λ 1 λ1 λ2 λ λ … λn −1
S=1+ + +…+ 1 2 .
μ1 μ1 μ 2 μ1 μ 2 … μn−1

52
 Вычислив эту величину, получим окончательно компоненты вектора ṕ¿ :
1
p¿1= , (11.4)
S
а p¿2 , p¿3 и последующие вычисляем последовательно по формулам (11.2),
(11.3)…
Пример 11.1. В расчетном центре стоят 4 одинаковых платежных
автомата. В час в среднем приходят 15 человек, желающих совершить оплату.
Среднее время работы с автоматом – 2 минуты. Найти вероятность того, что в
некоторый момент все автоматы заняты (считаем, что клиент, обнаруживший
это, не становится в очередь, а сразу уходит).
Составим (рис.11.2) граф МП:

Рис.11.2
Дадим необходимые пояснения.
1. Процесс имеет 5 возможных состояний. Цифра в квадратике
обозначает число занятых автоматов.
2. Плотность потока клиентов – 15 в час. Переводим в минуты:
1
λ= . Каждый клиент занимает свободный автомат (если он есть), то
4

есть система переходит в следующее правое состояние.

3. Переход влево происходит, когда какой-то из работающих
автоматов заканчивает работу. Для одного автомата, по формуле (12.1),

1
плотность потока выходящих заявок μ= M (T ) (в знаменателе как раз

стоит среднее время – уже в минутах – занятости автомата). Таким

1
образом, μ= 2 .

4. Если одновременно работают несколько автоматов, то

выходящие потоки складываются. Согласно теореме 6.3, плотности
53
 потоков также складываются. Поэтому, например, для состояния 3
3
получаем плотность 2
. Это значит, что при трех одновременно

работающих автоматах среднее время ожидания освобождения одного

2
из них (перехода системы в состояние 2) равно 3 минуты, то есть 40

секунд.
Не составляя системы уравнений Колмогорова (сделайте это
самостоятельно), найдем по описанным выше формулам стационарное
распределение вероятностей. Сначала вычислим последовательно дроби,
1 1 1 1
входящие в формулы (11.2), (11.3),… Они равны 2 ; 4 ; 6 ; 8 . Затем вычислим
1 1 1 1 1 1 1 1 1 1 6 33 2 11
S=1+ + ∙ + ∙ ∙ + ∙ ∙ ∙ = = ,
2 2 4 2 4 6 2 4 6 8 3 84 128
128
p¿0= ≈ 0, 61
2 11
(вероятность того, что все автоматы свободны). Нетрудно вычислить и
остальные стационарные вероятности. Последняя из них
1
p¿4 = ≈ 0 , 0016.
6 33
Таким образом, даже при таких удобных для клиентов условиях остается
вероятность того, что кто-то «уйдет обиженным».
В завершение этой главы заметим, что для бесконечного линейного
процесса (рис.11.1 продолжается вправо неограниченно) процесс имеет СРВ,
если ряд
λ 1 λ 1 λ2 λ λ … λn −1
S=1+ + +…+ 1 2 … (11.5)
μ1 μ1 μ 2 μ1 μ 2 … μn−1

сходится. Тогда можно применить формулы (11.4), (11.2), (11.3),…

Задачи

11.1. Как выглядит граф процесса размножения частиц, если каждая из

них (в том числе и только что появившаяся) превращается в 2 частицы в
среднем через единицу времени?
54
 11.2. Имеется 5 частиц, каждая из которых имеет срок жизни в среднем 2
единицы времени. Построить граф процесса чистой гибели, составить
соответствующую систему уравнений Колмогорова. Найти вероятность
каждого из состояний системы через 5 единиц времени (указание: учитывая,
что срок жизни каждой частицы распределен по показательному закону
согласно теореме 11.2, найти для каждой из них вероятность прожить
указанный срок, затем применить формулу Бернулли).

12. Основы теории массового обслуживания

Последний рассмотренный пример, как понятно из самой формулировки

ситуации, представляет собой типовую задачу теории массового
обслуживания (ТМО).
Система массового обслуживания (СМО) в принципе состоит из одного
или нескольких обслуживающих устройств (для краткости называемых
каналами), каждый из которых может принять в работу одну заявку из
входного потока заявок и, потратив некоторое время, завершить
обслуживание, после чего канал вновь становится свободным для приема
новой заявки.
Ясно, что такое общее описание допускает многочисленные вариации.
Основными параметрами для классификации СМО являются следующие.
1) Организация входного потока заявок (поток может быть
пуассоновским, эрланговским, равномерным (с равными
интервалами), иным – например, заявки могут поступать группами);
на практике часто используются различные методы регулировки
потока, например, выдача талонов в регистратуре поликлиники;
заявки могут различаться по их видам (например, клиенты в
парикмахерской приходят для стрижки, маникюра и т.п.).
2) Количество и вид каналов (различная работоспособность;
специализация по различным видам заявок; перерывы в работе для
профилактики и пр.).

55
 3) Организация работы канала над заявкой (время обслуживания
может быть фиксированным или иметь определенное распределение).
4) Организация очереди:
а) отсутствие очереди;
б) клиент может иметь или не иметь право отказаться встать в очередь;
в) ограничение длины очереди;
г) наличие приоритетов, то есть раздельных очередей для различных
видов заявок.
Примеры из жизни на все эти случаи каждый может привести сам.
В дальнейшем ограничимся изучением СМО с n=1,2,3,…

равноценными каналами обслуживания, с пуассоновскими потоками входящих

и выходящих заявок (плотность потока равна λ для входящего потока и μ
для выходящего с каждого канала) и:
а) отсутствием очереди;
б) неограниченной очередью (клиент не может отказаться встать в
очередь).
Такую СМО можно описать как линейный МП по образцу примера 11.1.
Замечание 12.1. Линейность процесса нарушается, например, при разной
производительности каналов (опытный и неопытный парикмахеры), то есть
при различных μ1 и μ2 . В отличие от примера 11.1, в этом случае

недостаточно рассмотреть состояние «занят 1 канал», так как скорость выхода

из этого состояния зависит от того, какой именно канал занят. Граф процесса
(рис. 12.1) тогда должен быть таким (нелинейным):

Рис.12.1
В данном случае цифры обозначают работающие каналы.
56
 Итак, считаем, что производительность каждого канала одинакова. Тогда в
случае а), т.е. при отсутствии очереди, решение задачи в принципе не
отличается от случая, рассмотренного в примере 11.1. Единственное отличие
может состоять в числе n каналов в системе. В частности, при n=1

процесс сводится к пуассоновскому переключателю (см. пример 9.1).

Рассмотрим подробнее случай б) (неограниченная очередь). Здесь мы
встречаемся с ситуацией, описанной в конце предыдущей главы, т. е. с
бесконечным линейным процессом, имеющим следующий граф (рис. 12.2):

Рис.12.2
Пояснения к рисунку: для первых n+1 состояний цифра обозначает число
работающих каналов. При этом плотность обратного потока (выполнения
заявок), как уже объяснялось, пропорциональна этому числу. Далее, номер
n+ s следует читать: работают все n каналов, и s заявок в очереди. При
этом продвижение вправо (увеличение длины очереди) определяется потоком
входящих заявок (плотность λ ), а влево – работой всех имеющихся каналов

(плотность n μ ).
Составим для этого случая (пока формально) ряд (11.5). Начальные
множители содержат в числителе λi , а в знаменателе – μ ( 2 μ ) ( 3 μ ) … ( i μ )=i ! μi .
λ
Затем (после i=n ) множители
nμ
не меняются, и с этого места имеем

бесконечную геометрическую прогрессию:

λ λ2 λn λ 2 λ s
S=1+ + 2 + …+
μ 2μ n ! μn ( λ
1+ +
nμ nμ ( )
+ …+
nμ ( ) )
+… .

Очевидно, что при λ ≥ nμ этот ряд расходится, и найти СРВ по формулам

¿ 1
p0 = и т.д. не представляется возможным. Это значит, что система не имеет
S

стационарного состояния. Можно доказать, что в этом случае длина очереди

растет неограниченно. Практически важно, что это происходит и при λ=nμ ,

то есть в случае, когда пропускная способность СМО совпадает с плотностью

57
входящего потока заявок. Практический урок создатели СМО (например, при
решении вопроса о необходимом количестве работающих касс в супермаркете)
могут вывести сами.
Если же λ< nμ , то бесконечно убывающая геометрическая прогрессия
суммируется по известной формуле:
λ λ2 λn nμ
S=1+ + 2 + …+
μ 2μ n
∙ ,
n ! μ nμ−λ
и это позволяет найти стационарное распределение вероятностей для данной
СМО, что опять же важно для практики. Например, формулы показывают, что
образование очередей за счет флуктуаций входного потока заявок неизбежно,
насколько бы суммарная мощность каналов обслуживания ни превосходила
плотность этого потока (см. решение задачи в примере 11.1). Практическая
задача может заключаться в минимизации вероятности образования очереди,
то есть перехода системы в состояния после (n+1) -го. Метод вычисления

таких вероятностей вам уже ясен.

Задачи

12.1. (Двухканальная СМИ с минимальной очередью)

В парикмахерской 2 мастера и только один стул для ожидающего клиента
(если он занят, то вновь пришедший клиент сразу уходит). В час в среднем
приходят 5 клиентов, среднее время обслуживания клиента – 15 минут.
Построить граф СМО и составить систему уравнений Колмогорова.
Найти стационарные вероятности и процент необслуженных клиентов
(указание: он соответствует стационарной вероятности для состояния
максимальной загрузки: 2 клиента обслуживаются, 1 в очереди). Какой процент
рабочего времени (суммарно) мастера не работают?
12.2. Та же задача при условии, что клиент, увидевший двух занятых
мастеров и свободный стул, с помощью монеты решает, стоит ли становиться в
очередь.
12.3. Та же задача при условии, что клиент в очереди через 10 минут (в
среднем!) теряет терпение и уходит.
12.4. (4-канальная СМО с неограниченной очередью – см. рис.12.2)
У входа на стадион проверяют билеты 4 контролера, тратя на проверку в

58
среднем по 4 сек. При входном потоке 30 человек в минуту найти вероятность
прохода на стадион, не стоя в очереди.

13. Корреляционная теория случайных процессов

Вернемся к общей теории случайных процессов (или, что то же самое)

случайных функций. В гл.1 приводится их классификация, даны понятия
реализации и сечения случайного процесса. Для нас сейчас важно, что
сечением СП является обычная случайная величина X (t ) , взятая в
определенный момент времени. При этом, как правило, речь идет о будущем
моменте, иначе величина уже реализовалась в виде определенного значения.
Например, в случае марковского процесса значением величины можно считать
номер состояния, в котором процесс находится в момент времени t . При этом
время может быть дискретным ( t=0,1,2, , k , … ) для цепи Маркова или
непрерывным ( t ∈ ¿ ) для процессов, описанных выше – в главах 7 –12.
Если момент времени t фиксирован, то с такой случайной величиной
можно обращаться как с обычной, в частности, рассматривать ее закон
распределения, вычислять ее математическое ожидание и дисперсию (считаем
в дальнейшем, что эти величины определены и конечны). Введем
соответствующие обозначения:
mX ( t )=M ( X ( t ) ) ,

D X ( t )=D ( X ( t )) .
Можно записать обычные свойства этих величин [4, лекция 6], но с одной
поправкой: во всех случаях константу можно заменить любой обычной (не
случайной) функцией φ ( t ) , т.к. при фиксированном значении t она
становится константой:
1. m φ ( t ) ( t )=φ ( t ) ;

2. mφ ( t ) ∙ X ( t )=φ ( t ) ∙ m X ( t )

(далее пишем просто φ вместо φ ( t ) );

59
 3. D φ ( t )=0 ;
2
4. D φ ∙ X ( t )=φ D X ( t ) ;

5. mX ±Y ( t )=mX ( t ) ± mY ( t ) (в частности, mX ± φ ( t )=m X ( t ) ± φ ( t ) );

6. D X +φ ( t )=D X ( t ) ;

только для независимых X (t ) и Y (t)

7. mX ∙Y ( t ) =mX ( t ) ∙ mY ( t ) ;

8. D X ± Y ( t )=D X ( t ) + DY ( t ) .

Запишем также среднее квадратическое отклонение σ X (t )= √ D X ( t ) .

Если из контекста ясно, о какой случайной функции X (t ) идет речь, то
можно использовать сокращенные обозначения m ( t ) , D ( t ) , σ ( t ) .

Однако изучение процесса, зафиксированного в определенный момент

(пусть будущего) времени, недостаточно. Мы уже изучали и для цепей
Маркова, и для марковских процессов изменение во времени закона
распределения величины X (t ) . Уточним здесь, что этот закон распределения
во всех этих случаях дискретен и указывает соответствие между номером i

состояния Si и соответствующей вероятностью pi ( t ) (см. формулу (8.1)).

Иначе говоря, мы изучаем изменение во времени вектора распределения
вероятностей ṕ ( t ) . Например, из уравнений Колмогорова, как мы видели

выше, вытекает, что за малый промежуток времени он изменяется мало.

Поставим более общую задачу – сравнить распределение X (t 1) и
X (t 2) в два разных момента времени, разделенных большим или малым
промежутком. Именно для этой цели разработана теория корреляции,
изложенная в [1, гл.14]. Там Вы можете прочитать подробности, а пока
напомним основные понятия и введем обозначения: ковариации
K ( t 1 , t 2 ) =K ( X ( t 1) , X ( t 2 ) ) =M ( ( X ( t 1 )−m ( t 1) )( X ( t 2 )−m ( t 2 ) ) )=¿ M ( X ( t 1 ) ∙ X ( t 2 ) ) −m ( t 1 ) ∙ m ( t 2 )

и коэффициента корреляции

60
 K ( t 1 ,t 2 )
r ( t 1 , t 2 )= .
σ X ( t1 ) σ X ( t2 )

Они также обладают указанными в [1] свойствами.

1. K ( t 1 , t 2 ) =K ( t 2 , t 1 ) , r ( t 1 , t 2 ) =r ( t 2 , t 1 ) (свойство симметрии –
неважно, какой момент времени был раньше);
2. K ( t , t ) =D (t ) , r ( t , t )=1 ;

3. K φX ( t 1 , t 2 ) =φ( t 1 )φ (t 2)K X ( t 1 , t 2 ) , коэффициент же корреляции при

таком преобразовании не меняется с точностью до знака:

r φX ( t 1 , t 2) =± r X ( t 1 , t 2) ;

4. |K ( t 1 , t2 )|≤ σ X ( t1 ) σ X ( t2 ) , |r ( t 1 , t 2)|≤ 1 ;
5. Если два сечения X (t 1) и X (t 2) представляют собой
независимые случайные величины, например, в процессе испытаний
Бернулли (см. [11, гл.1, пример 4]), то K ( t 1 , t 2 ) =0 и r ( t 1 , t 2 )=0 .

Рассмотрим близкие моменты времени t , t+ Δt и обозначим

ΔX =X ( t+ Δt )− X ( t ) . (13.1)
Определение 13.1. Случайный процесс называется непрерывным, если
для любого t
l ℑ m ax| ΔX|=0 . (13.2)
Δt → 0

Пример 13.1. Непрерывным является, например, процесс изменения

температуры воздуха, так как она никогда не меняется мгновенным скачком.
Исключая неинтересный случай, когда X ( t )=c onst (то есть эта величина
не является случайной), сформулируем основное утверждение.
Теорема 13.1. Для непрерывного процесса
l ℑ ⁡ r ( t ,t + Δt ) =1. (13.3)
Δt → 0

Доказательство. Учтем линейность ковариации по любому аргументу:

K ( t , t+ Δt )=K ( X ( t ) ; X ( t ) + ΔX )=K ( t , t )+ K ( X (t ) , ΔX ) .

61
 Из (13.2) очевидно следует, что и l ℑ σ ( ΔX ) ¿ 0 , затем из свойства 4 –
Δt → 0

что l Δtℑ→ 0 K ( X ( t ) , ΔX )=0; значит, l Δtℑ→ 0 K ( t , t+ Δt )=

❑
K ( t , t )=σ 2 (t ) . Докажем еще, что

l ℑ ⁡ σ ( t+ Δt )=σ ( t ) . Действительно (учитываем (13.1)),

Δt → 0

t
+ ΔX
M (X (¿)¿)
¿
2
D ( t+ Δt ) =M ( X ( t ) + ΔX ) −¿
t
( ΔX )
M¿
¿ .
X (¿) ¿2−2 M ( X ( t ) ) M ( ΔX ) −¿
M¿
2
¿ M ( X ( t ) ) +2 M ( X ∆ X )+ M ( ( ΔX )2 ) −¿

При Δt →0 все слагаемые, содержащие ΔX , в силу (13.2), обращаются

в пределе в 0, и получим требуемое. Теперь
K ( t , t+ Δt ) σ 2 (t)
l ℑ r ( t , t + Δt )=l ℑ = =1.
Δt → 0 Δt →0 σ ( t ) σ ( t+ Δt ) σ (t ) σ ( t )
Замечание 13.1. Процесс, для которого любые 2 сечения независимы, то
есть r ( t1 , t 2 )=0 при любых t 1 , t 2 , называется белым шумом. Он, разумеется,
всюду разрывен, как вытекает из только что доказанной теоремы. Такое
явление так же, как, например, абсолютно черное тело в физике, является
математической абстракцией и в реальности не существует.
Пример 13.2. Рассмотрим процесс испытаний Бернулли, выполняемых в
случайные моменты времени, которые определяются некоторым
Пуассоновским потоком событий. Например, мы подбрасываем монету каждый
раз, когда возле окна проезжает автомобиль, и записываем результат в виде 0
или 1. Время отсчитываем от первого испытания.
Одну из возможных реализаций представляет рис. 13.1.

62
 Рис.13.1
Пояснение: крестики на оси времени – события потока Пуассона. Процесс
каждый раз переключается в значение 0 или 1 (или остается в том же
положении, если так «решила» монета).
Как видно даже из графика, процесс не является непрерывным
(действительно, за сколь угодно малый промежуток времени может случиться
переключение, то есть ΔX =± 1¿ . Тем не менее (13.3) выполняется. Докажем
это.
Рассмотрим любое сечение X (t ). Оно определяется только последним
испытанием (в какой бы момент времени оно ни произошло), то есть имеет
распределение вероятностей
X(t 0 1
)
P q p

Отсюда независимо от t
m ( t )= p , D ( t ) =p q .

Для вычисления коэффициента корреляции рассмотрим два момента

времени: t1 <t 2 . Так как произведение X ( t 1) X ( t 2 ) обращается в 1, только если
обе величины равны 1, то
M ( X ( t 1 ) X ( t 2 ) ) =1∙ 1∙ P ( X ( t 1 )=1 и X ( t 2 ) =1 )=P ( X ( t 1 ) =1 ) ∙ P X ( t )=1 ( X ( t 2 ) =1 ) .
1

Последняя условная вероятность распадается на 2 случая:

а) за время от t 1 до t 2 событий пуасссоновского потока не было. Согласно
формуле (6.5), P ( а )=e−λ(t −t ) ; 2 1

63
 б) за это время произошло хотя бы одно событие из потока (с
вероятностью 1−P ( а ) ), но при последнем испытании был успех (с
вероятностью p ). Таким образом, P (б )=( 1−e−λ(t −t ) ) p . 2 1

Так как и P ( X ( t 1) =1 ) =p , то
M ( X ( t 1 ) X ( t 2 ) ) =p ( e−λ (t −t ) + ( 1−e−λ ( t −t ) ) p )= p ( e−λ (t −t ) q+ p ) ,
2 1 2 1 2 1

− λ (t 2−t1 )
K ( t 1 , t 2 ) =M ( X ( t 1 ) X ( t 2 ) )−m ( t 1 ) m ( t 2 )= p ( e q+ p )− p2 =¿

¿ p qe
−λ ( t2−t 1)
,
−λ t 2−t 1
p ∙ q ∙ e ( ) −λ (t −t )
r ( t1 , t2 ) = =e . 2 1
(13.4)
√ pq∙√pq
Очевидно, что при Δt=t 2−t 1 → 0 последняя величина приближается к 1.
Важнее то, что с ростом разницы во времени коэффициент корреляции убывает
экспоненциальным образом. Это характерно для обширного класса случайных
процессов (подробнее – в следующем параграфе).
Пример 13.3. Рассмотрим (дискретный во времени) обычный процесс
испытаний Бернулли, но с накоплением успехов, упомянутый в конце гл.1.
В любом сечении при t=n X (n) есть обычная случайная величина
типа Бернулли. Рассмотрим также сечение, соответствующее t=n+l . По

обычным формулам (см. [4, с.49 – 50]

m ( n )=n p , σ ( n )= √n pq ,
m ( n+ l )=( n+l) p , σ ( n )=√ ( n+l ) p q .

Очевидно, что X ( n+l )= X ( n ) + X ( l ) (второе слагаемое относится к серии

испытаний с номерами от n+1 до n+l ). Отсюда
2
M ( X ( n ) X ( n+ l ) )=M ( X ( n ) (X ( n )+ X (l ) ) )=M (( X ( n ) ) + X ( n ) ∙ X ( l ) ) ,

далее, по определению дисперсии,

2 2
M ( ( X ( n ) ) )=D ( n ) + ( m ( n ) ) =n pq+ n2 p2 ,

а величины X ( n) и X ( l ) независимы, так как относятся к разным сериям

испытаний, поэтому
M ( X ( n ) ∙ X ( l ) )=n p ∙ l p .

Теперь
64
 K ( n , n+ l )=M ( X ( n ) , X ( n+ l ) )−M ( n ) ∙ M ( n+l )=¿
¿ n pq +n2 p 2+ nl p2−n p ∙ ( n+ l ) p=n pq ,

r ( n , n+l )=
n pq
=
n
√ n pq ( n+l ) ∙ p q n+l√.

Таким образом, с ростом l коэффициент корреляции убывает, но

значительно медленнее, чем в предыдущем примере. Заметим, что скорость
этого убывания вообще не зависит от вероятности p (как, впрочем, и в
примере 13.2).

Задачи

13.1. Найти m ( t ) , D ( t ) , σ ( t ) , K ( t1 , t2 ) , r ( t1 , t 2 ) , если X ( t )=U cos 2 t ,

где U – случайная величина с характеристиками M ( U )=5 , D (U )=6.
13.2. Случайная величина T – время жизни частицы – распределена по
показательному закону: при любом неотрицательном t P (T ≥t )=e−λt .

Случайную функцию X (t ) определим как индикатор жизни частицы:

X ( t )=1 , если и X ( t )=0 в противном случае.
T ≥t
Является ли процесс непрерывным?
e−λ t ( 1−e− λt )
√
2 1

Доказать, что при 0<t 1 < t 2 будет r ( t1 , t 2 )= −λt .

e ( 1−e−λ 2) 1

14. Стационарность и эргодичность для произвольных

случайных процессов

Определение 14.1. Случайный процесс называется однородным, если

распределение сечения X ( t ) не зависит от t .
Ясно, что в этом случае не зависят от t также величины m ( t ) , D (t) .

Рассмотрим простые примеры.

Процесс изменения температуры воздуха не является однородным
(средняя ожидаемая температура зависит и от времени суток, и от времени
года).

65
 Процесс, описанный в примере 13.2, является однородным, а в примере
13.3 – нет.
Процессы, описываемые стационарным распределением вероятностей в
случае марковского процесса (в том числе и для случая цепи Маркова),
являются однородными, а если распределение еще не достигло стационарного
– нет. Однако такой процесс может быть асимптотически однородным.
Определение 14.2. Случайный процесс называется асимптотически
однородным, если с ростом времени распределение случайной величины
X (t ) стабилизируется к распределению финальной величины X (это
распределение также назовем финальным).
Понятие финального распределения для случая марковских процессов
подробно рассматривалось раньше. В общем случае сходимость распределения
сводится к поточечной сходимости интегральной функции распределения: если
функция F ( x ,t )=F X ( t ) ( x ) соответствует случайной величине (сечению) X (t ),

а функция F ( x ) – финальному распределению (финальному сечению) X , то

определению 14.2 соответствует равенство
l ℑ ⁡ m ax| F ( x , t )−F ( x )|=0. (14.1)
t→∞

Как сказано в предыдущей главе, для любых случайных процессов важно

изучение не только сечений, но и корреляционных связей между ними. Для
типовых случайных процессов, как в примерах 13.2 и 13.3, эта связь с течением
времени убывает.
Дадим следующие определения.
Определение 14.3. Случайный процесс называется стационарным в
узком (в широком) смысле, если он является однородным (асимптотически
однородным) и коэффициент корреляции зависит только от разности двух
моментов времени
r ( t 1 , t 2 ) =r ( τ ) , где τ =|t 1 −t 2|.

Определение 14.4. Случайный процесс называется эргодическим, если

он:

66
 1) асимптотически однороден;
2) коэффициент корреляции любого сечения с последующими

убывает с ростом времени: l ℑ τ →⁡∞ r ( t ,t +τ )=0 для любого t ≥ 0 .

Теорема 14.1. (без доказательства).
Если случайный процесс является эргодическим, то для любой его
реализации f (t ) средние характеристики процесса за длительный
промежуток времени приближаются к аналогичным характеристикам его
финального сечения. В частности, среднее значение
T+ τ
1
τ
∫ f (t ) d t →m=M ( X ) .
T

Пример 14.1. Из (13.4) вытекает, что процесс, описанный в примере 13.2,

является эргодическим. Процесс же из примера 13.3 таковым являться не
может уже потому, что финальной случайной величины для него не существует.
О понятии эргодичности для марковских процессов выше подробно
говорилось. Рассмотрим это понятие для цепей Маркова с использованием
теории корреляции.
Напомним: процесс (ЦМ) имеет конечное число возможных состояний
S 1 , S2 , … , S i , … , S n . Для любого k =0,1, 2, 3,… распределение X (k ) задается
вектором распределения вероятностей (ВРВ) ṕ ( k )=( p 1 ( k ) , p2 ( k ) , … , pn ( k ) ) , где

pi ( k )=P ( S ( k ) =S i )=P ( X ( k )=i ) .

По определению (см. [1, гл.14]), корреляционная матрица K (или

матрица совместного распределения пары случайных величин X (k ) и
X ( k +l ) ) состоит из вероятностей

pi j=P ( X ( k )=i , X ( k +l )= j ) =P ( X ( k )=i ) P X (k )=i ( X ( k +l ) = j ) .

Первый множитель совпадает с pi ( k ) , а второй является элементом

матрицы переходных вероятностей в цепи Маркова за l шагов. Как показано
в гл.3, эта матрица является l-ой степенью матрицы A , задающей

вероятности перехода за 1 шаг. Обозначив a(l)

i j элементы матрицы A ,
l

получим: pi j= pi ( k ) ∙ a(li j) , что в матричной форме также можно записать как

67
 ( )
p1 ( k ) 0 …
l
K= 0 pi ( k ) … ∙A .
… … pn( k )

В гл.5 доказано, что, если ЦМ не содержит источников, поглотителей и

циклов, то:
1) существует и единственно такое финальное распределение
вероятностей q́ , что при любом начальном РВ ṕ ( 0 )

( ṕ ( 0 ) ∙ Ak ) =¿ q́
l ℑ ṕ ( k )=lim ¿
k →∞ k→∞

(это соответствует условию 1) определения 14.4);

2) с ростом l матрица A
l
стабилизируется к матрице ∞
A ,

все строки которой одинаковы и совпадают с вектором q́ . Очевидно,

что пределом матрицы K будет матрица с элементами pi ( k ) q j . Но

именно такую структуру имеет матрица совместного распределения

пары независимых случайных величин, для которых коэффициент
корреляции равен нулю.
Таким образом, условия теоремы 14.1 выполнены. Эргодичность в общем
определении доказана. В частности, это значит, что при любых начальных
условиях доля времени, которое система проводит в каждом из своих
состояний, за долгий промежуток времени приближается к соответствующим
вероятностям, включенным в финальное распределение вероятностей q́ .

Задачи

14.1. Пусть в условиях задачи 5.5(а,б,в) система в начальный момент

находится с равной вероятностью в каждом из своих состояний. Найти
корреляционные матрицы и вычислить коэффициенты корреляции с ее
возможными состояниями через 1, 2, 4 шага.
14.2. Доказать, что из сходимости векторов распределения вероятностей к
финальному вектору как для цепей Маркова, так и для непрерывных
марковских процессов вытекает сходимость соответствующих распределений в

68
смысле (14.1).

69