Марковские процессы

Стационарное распределение вероятностей

состояний
Распределение вероятностей состояний
называется стационарным, если оно не изменяется от шага к шагу, т.е.
То же требование можно переписать в виде
(1)
Записанному матричному уравнению соответствует система линейных
однородных уравнений, имеющая ненулевые решения при условии

Эту систему следует дополнить условием нормировки вероятности

(2)
 Стационарное распределение вероятностей
состояний
Предельная стационарная вероятность несущественного состояния всегда
оказывается равной нулю: рано или поздно система выходит из этого
состояния и уже в него не возвращается.

Напротив, предельная стационарная вероятность единственного состояния

поглощения (при отсутствии других классов существенных состояний)
всегда оказывается равной единице: рано или поздно система придёт в
это состояние и уже из него не выйдет.
Пример:
Матрица перехода цепи Маркова
Матрица перехода цепи Маркова -матрица , элементами
имеет вид которой являются вероятности
перехода
Распределение вероятностей по состояниям в начальный момент
характеризуется вектором = (0,1; 0,9).
Найти:
1) матрицу перехода за 2 шага;
2) распределение вероятностей по состояниям после 2-го шага;
3) вероятность того, что после 1-го шага состояние цепи будет ;
4) стационарное распределение вероятностей по состояниям.
 Решение:
1. равенство Маркова (3)

за r шагов за m - r шагов

за m шагов

Равенство Маркова в матричной форме (4)

Находим матрицу перехода за 2 шага:

 Решение:
2. Обозначим через безусловную вероятность того, что система в
момент времени (на шаге m) окажется в состоянии . Тогда
совокупность вероятностей будет образовывать вектор,
который называется вектором распределения вероятностей по
состояниям: Для этого вектора
выполняются стандартные свойства распределения вероятностей.

Для того, чтобы найти вектор распределения вероятностей по состояниям

на шаге m, следует умножить начальный вектор вероятностей состояний
на матрицу перехода за m шагов.

(5)
Решение: 2. Найти распределение вероятностей по состояниям после 2-
го шага
2. По формуле (5)

3. Вероятность того, что после 1-го шага состоянием цепи будет :

Отсюда

4. Для отыскания стационарного распределения составим систему

уравнений уравнения линейно
зависимы
(суммирование этих
уравнений даёт третье
уравнение), поэтому
одно из них можно
вычеркнуть
Решение:
Из первого уравнения имеем

С учётом третьего уравнения получим

Стационарное распределение имеет вид

 Марковские процессы с непрерывным
временем.

Перейдём к процессам, в которых изменения состояний системы

могут происходить в любые моменты времени. В этой ситуации
говорят о случайном процессе с непрерывным временем.
Марковские процессы с непрерывным временем.
Потоки событий.
Поток событий – это последовательность однородных событий,
следующих одно за другим в какие-то случайные моменты времени.

Интенсивность потока событий λ – это среднее число событий,

приходящееся на единицу времени.

Поток событий называется стационарным, если его вероятностные

характеристики не зависят от времени

Поток событий называется простейшим (или стационарным

пуассоновским), если он обладает сразу тремя свойствами:
1) стационарен, 2) ординарен, 3) не имеет последствий.
 Марковские процессы с непрерывным
временем.
Плотностью вероятности перехода системы из состояния в состояние
(или интенсивностью перехода) называется величина

(6)
Интенсивность перехода может быть величиной как положительной, так и
отрицательной.
Марковские процессы с непрерывным
временем. Матрица интенсивностей
Если не зависит от момента времени t , с которого начался
промежуток времени ∆t , то процесс называется однородным.
Матрицей интенсивностей называется матрица вида
Марковские процессы с непрерывным
временем. Матрица интенсивностей
СВОЙСТВА МАТРИЦЫ ИНТЕНСИВНОСТИ
1. Диагональные элементы этой матрицы неположительны,
остальные элементы – неотрицательны: ≤ 0 при i = j ; ≥0
при i ≠ j .

2. Сумма элементов каждой строки равна нулю

 Тест
1.Интенсивность потока событий λ это:
a)среднее число событий, приходящееся на единицу времени
b)все события , приходящееся на единицу времени
c)последовательность однородных событий, следующих одно за другим в какие-то случайные
моменты времени
2. Матрица перехода цепи Маркова это:
a)матрица , элементами которой являются вероятности перехода
b)математический объект, записываемый в виде прямоугольной таблицы элементов кольца
или поля (например, целых, действительных или комплексных чисел), который представляет
собой совокупность строк и столбцов, на пересечении которых находятся его элементы
3. Какими свойствами, из ниже перечисленных, обладает простейший ()стационарный или
пуассоновский поток?
a)отсутствие последействий
b)достоверность
c)стационарность
d)открытость
e)ординарность
1.