1. Что представляют собой Марковская цепь и Марковский процесс?

В чём их
отличие? Приведите пример Марковской цепи и Марковского процесса.
1.1. Марковская цепь
Определение:
• Цепью Маркова называют последовательность испытаний с возможными исходами
Е1, Е2… если вероятности любой последовательности исходов
определяются через распределение вероятностей {aj} для исходов {Еj} в начальном
испытании и через фиксированные условные вероятности {pjk} в последующих
испытаниях
• Р(Еk |Еj) = pjk – вероятность появления события Еk в некотором испытании при
условии, что предыдущее испытание закончилось исходом Еj
• аj = Р(Еj) – вероятность осуществления события Еj в начальном испытании

• Для последовательности n испытаний с исходами

1.2. Марковский процесс

Определение:
 Процесс работы СМО представляет собой случайный процесс (стохастический,
вероятностный) – процесс изменения во времени состояния какой-либо системы
в соответствии с вероятностными закономерностями
 Процесс называется процессом с дискретными состояниями, если его
возможные состояния S0, S1, …, Sn можно заранее перечислить, а переход системы
из состояния в состояние происходит мгновенно (скачком)
 Процесс называется процессом с непрерывным временем, если моменты
возможных переходов системы из состояния в состояние не фиксированы заранее,
а случайны

Свойства:

 Система переходит из состояния в состояние не в фиксированные, а в случайные

моменты времени t.
 Время оказывается не дискретной величиной, как в цепи Маркова, а непрерывной
переменной.
  Характерное свойство Марковского процесса – зависимость переходов из
состояния в состояние только от ближайшей предыстории: «будущее состояние
системы зависит лишь от настоящего и не зависит от прошлого».
1.3. Отличия Марковской цепи от процесса
Марковская цепь — частный случай Марковского процесса, когда пространство его
состояний дискретно (т.е. не более чем счетно)

1.4. Пример Марковской цепи

Цепи Маркова может применяться при оценке будущих продаж. Например, сделав

опрос среди покупателей той или иной марки автомобиля о их следующем выборе, можно
составить матрицу T.

Например:

1. Среди владельцев автомобилей марки A 20% сказали, что выберут опять эту же

марку, 50% сказали, что они бы перешли на марку B, а 30% заявили, что предпочли бы
марку C.
2. Среди владельцев автомобилей марки B  20% сказали, что перейдут на марку A, в то
время как 70% заявили, что приобрели бы опять автомобиль марки B, а 10% заявили,
что в следующий раз предпочли бы марку C.
3. Среди владельцев автомобилей C 30% ответили, что перешли бы на марку A, 30%
сказали, что перешли бы на марку B, а 40% заявили, что остались бы верны той же
марке C.

Матрица перехода для этого события имеет вид:

Для ответа на первый вопрос имеем: p(0)=p(0)= (1,0,0)(1,0,0) , поэтому

Вероятность того, что вторая машина будет марки C, равна 0.3. Для ответа на второй
вопрос требуется найти
Для (2) имеем p(2)= (0,0.5,0.5) и

поэтому вероятность того, что второй автомобиль будет марки AA равна 0.225

1.5. Пример Марковского процесса