МИНИСТЕРСТВО ОБОРОНЫ СССР

О. Г. АЛЕКСЕЕВ, В. Г. АНИСИМОВ, Е. Г. АНИСИМОВ

МАРКОВСКИЕ МОДЕЛИ БОЯ

1985
 Учебное пособие посвящено применению марковских цепей к
моделированию боевых действий. Марковские цепи являются част­
ным видом случайных процессов с дискретным множеством состоя­
ний. Вместе с тем они занимают особо важное положение среди по­
добных процессов. Это обусловлено тем, что для цепей Маркова
хорошо разработан математический аппарат, позволяющий решать
многие содержательные задачи, связанные с исследованием реаль­
ных (в том числе и боевых) процессов, формализуемых в виде таких
цепей, и тем, что очень многие реальные процессы могут быть до­
статочно точно аппроксимированы марковскими цепями.
В пособии используются разрозненные публикации. Часть ре­
зультатов публикуется впервые.
При отборе материала авторы стремились достаточно полно
охватить прикладные методы исследования марковских цепей. При
этом для сокращения объема пособия ряд доказательств резуль­
татов опущен. Доступность изложения достигается за счет рассмот­
рения применения основных методов на простых примерах.
 I. СТОХАСТИЧЕСКИЕ МОДЕЛИ БОЕВЫХ ДЕЙСТВИИ
1.1. Природа стохастичности в моделях боевых действий
Существенной особенностью процессов вооруженной борьбы яв­
ляется невозможность однозначно предсказать ход и исход борьбы
на основе имеющейся априори информации. Несмотря на то, что
боевые действия подчиняются определенным объективным зако­
нам, в каждом конкретном бою или операции эти законы прояв­
ляются через множество неопределенностей.
Математическая модель боевых действий может содержать ли­
бо детерминированные параметры и связи, либо стохастические,
но не может (по крайней мере, при нынешнем состоянии науки)
содержать неопределенности.
Выбор детерминированного либо стохастического подхода к
моделированию боевых действий зависит от целей моделирования,
возможной точности определения исходных данных, требуемой
точности результатов и отражает информацию исследователя о
природе причинно-следственных связей реального боя. При этом
неопределенные факторы, которые могут иметь место в реальных
боевых действиях, должны быть приближенно представлены как
детерминированные или стохастические. Характер параметров,
входящих в модель, относится к тем исходным допущениям, кото­
рые могут быть обоснованы только эмпирическим путем. Соответ­
ствующая гипотеза о детерминированном или стохастическом ха­
рактере параметров и связей модели принимается в том случае,
если она в пределах требуемой или возможной точности определе­
ния этих параметров не противоречит опытным данным.
Большинство современных моделей боевых действий основано
на теоретико-вероятностных конструкциях. В связи с этим целесо­
образно рассмотреть вопрос об исходных посылках применимости
таких конструкций к моделированию процессов боя.
Теория вероятностей изучает математические модели экспери­
ментов (реальных явлений), исход которых не вполне однозначно
определяется условиями опыта. Поэтому неоднозначность боевых
процессов часто является решающей в выборе стохастического
3
 (вероятностного) подхода к моделированию боевых действий. Вме­
сте с тем не всегда учитывается, что аппарат теории вероятностей
применим для описания и изучения не любых экспериментов с
неопределенными исходами, а лишь экспериментов, исходы кото­
рых обладают статистической устойчивостью. Тем самым важней­
ший вопрос об эмпирическом обосновании применимости теорети­
ко-вероятностных методов к рассматриваемым конкретным харак­
теристикам боевых процессов иногда полностью выпадает из поля
зрения.
Применимость методов теории вероятностей для исследования
тех или иных процессов вооруженной борьбы может быть обосно­
вана только эмпирически на основе анализа статистической устой­
чивости характеристик этих процессов..
Статистическая устойчивость представляет собой устойчивость
эмпирического среднего, частоты события или каких-либо других
характеристик протокола измерений исследуемого параметра.
Рассмотрим один из возможных подходов к анализу статистиче­
ской устойчивости.
Пусть проводится серия испытаний, заключающаяся в стрельбе
противотанковых орудий по танкам при одних и тех же контро­
лируемых условиях эксперимента. Протокол серии этих однород­
ных испытаний имеет вид числовой последовательности

{*(«)}" = \Х( \), Х(2), . . Х(т), . . X(N)\,

где л — номер испытания (n=i, N)\
X (л) — количество уничтоженных танков при л-м испытании.
Пусть, по мере увеличения количества проведенных испытаний,
мы анализируем протокол [ X ( л ) т= 1, N (т — номер послед­
него испытания) с целью предсказать значение Л (л и -1). Простей­
ший подход к предсказанию заключается в вычислении эмпириче­
ского среднего

Мт[ Х \ = ± - % Х ( п ) , m = l,N.
Я—1
Протокол величин Мт[Х] обозначим через \М т [Л'] \i.. При
этом может оказаться, что эмпирическое среднее число поражен­
ных танков Х(п) обнаруживает устойчивость в том смысле, что
разброс значений Мт [Л] в конце концов ощутимо уменьшается по
мерс возрастания т , т. е.
М т [A'l М [А'] при N > /я > Шг С N,
эдесь М [/V] некоторая константа, а т%— то наименьшее количество
нснытлпий, начиная с которого
|И*1* |- У И Я 1* ] |< « , 8 > о.
4
Если это условие выполняется, то гипотеза о том, что величина
Х(п) является случайной (статистически устойчивой), не проти­
воречит опыту и для ее анализа применимы методы теории вероят­
ностей. В частности, величина М[Х\ — математическое ожидание
числа уничтоженных танков — может служить в качестве прогно­
за величины Х(п), п = 1, N.
На практике часто полагают M[X]=AfiV(X|, пренебрегая анали­
зом последовательности \Mm [X]\i . Такая упрощенная процедура
«измерения» математического ожидания, которую принято назы­
вать схемой фиксированной серии, означает отказ от анализа ста­
тистической устойчивости. Схема фиксированной серии доставляет
значение М[Х\ и тогда, когда рассмотрение последовательности
[Mm [X\}i не выявило бы статистической устойчивости и тем са­
мым прогноз Х(п) п= 1, N явился бы заведомо ложным.
В рамках рассмотренного примера последнее имело бы место, если
Х(п) возрастало по мере увеличения п (например, вследствие
улучшения навыков личного состава) или убывало (например,
вследствие усталости), т. е., как говорят статистики, имел место
монотонный тренд.
Аналогично М{Х\ по схеме удлиняющейся серии могут «изме­
ряться» и другие характеристики случайных величин (функции
распределения вероятностей, моменты более высоких поряд­
ков).
Вообще применение схем удлиняющихся серий, на наш взгляд,
является разумной альтернативой «домысливанию ровно одного
этажа вероятностей, называемых доверительными вероятностями,
или уровнями значимости, сверх тех, которые действительно изме­
ряются в эксперименте» [3], характерному при применении методов
математической статистики для анализа результатов статистиче­
ских моделей боевых действий. Более подробно с этими вопросами
можно ознакомиться по работам [1], [2], [3].
Следует, однако, отметить, что вопрос о статистической устойчи­
вости реального боя в целом, а следовательно, и о применимости
теоретико-вероятностных понятий к его моделированию в настоя­
щее время может быть решен только на интуитивном уровне. Это
объективно обусловлено отсутствием достаточного числа опытов,
касающихся боя (операции) в целом. Вместе с тем большинство
«элементарных» процессов, составляющих боевые действия, носят
случайный характер (т. е. гипотеза об их статистической устойчи­
вости не противоречит имеющемуся опыту). Так, например, факт
поражения той или иной цели противника в результате огня ар­
тиллерии или бомбометания является случайным событием; случай­
ным является число самолетов, преодолевших систему ПВО, слу­
чайный характер носят процессы разведки и опознавания объектов
противника; случайными являются отказы техники, моральное со­
стояние личного состава и т. д. Случайность этих явлений эмпири­
чески подтверждена достаточно большим числом экспериментов.
.5
 Все указанные «элементарные» случайные процессы взаимо­
действуют между собой, объединяясь в едином процессе боевых
действий. Несмотря на то, что управление войсками направлено
на то, чтобы снизить элемент случайности и придать боевым дей­
ствиям детерминированный целенаправленный характер, реальные
боевые действия столь сложны, что как бы ни была высока сте­
пень централизации управления, случайные факторы в них всегда
присутствуют, поэтому природа боевых действий остается случай­
ной в широком смысле. Это служит основанием для применения
стохастических моделей при исследовании боевых действий и
управления ими, хотя полную стохастическую устойчивость боя в
целом вряд ли можно вполне гарантировать.
Опыт применения стохастических моделей в нашей стране и за
рубежом содержит примеры их высокой эффективности.

1.2. Основные подходы к построению стохастических моделей

боевых действий
В настоящее время сложились два основных подхода к стоха­
стическому моделированию боевых действий. Первое направление
связано с построением стохастических моделей на основе метода
статистических испытаний (Монте-Карло) [4]. Второе направление
заключается в построении аналитических моделей боевых дейст­
вий [4], [20], [21]. Оба эти направления развиваются параллельно
и взаимно дополняют друг друга.
Главной особенностью моделей, основанных на методе стати­
стических испытаний, является то, что они приближенно воспроиз­
водят боевой процесс на основе имитации его элементарных со­
ставляющих и их взаимосвязей. Это позволяет моделировать про­
цессы очень сложной структуры, зависящие от большого числа
разнообразных факторов. Вместе с тем модели статистических ис­
пытаний, как правило, громоздки. Их применение требует боль­
шого объема памяти ЭВМ и связано с большими затратами ма­
шинного времени. Существенным недостатком этих моделей яв­
ляется отсутствие конструктивных способов оптимизации.
Некоторые из недостатков имитационных статистических моде­
лей боевых действий преодолеваются применением аналитических
моделей.
В настоящее время для построения аналитических моделей сто­
хастических процессов боевых действий применяются два основ­
ных подхода — микроскопический и макроскопический.
Микроскопический подход состоит в детальном изучении пове­
дения каждого элемента системы сил и средств сторон в бою.
Макроскопические модели изучают только макросвойства системы
сил и средств сторон и учитывают только средние характеристики
для состояний системы, например среднее количество элементов
системы, находящихся в некотором определенном состоянии. Это
приводит к потере информации о состоянии каждого элемента си­
6
стемы сил и средств, участвующих в бою, так как одни и те же
макросостояния могут быть результатом различных сочетаний
микросостояний. В то же время макроскопический подход позво­
ляет сократить размерность математической модели, сделать ее
более обозримой, сократить затраты ресурсов ЭВМ при производ­
стве расчетов. Микроскопический подход предпочтителен в случае,
когда требуется более детальная информация о поведении систе­
мы. Макроскопический подход применяется для достаточно быст­
рых оценочных расчетов.
Формальные соотношения для стохастических моделей боевых
действий в ряде случаев могут совпадать по форме с аналогич­
ными соотношениями детерминированных моделей, но они принци­
пиально различаются интерпретацией параметров и результатов
моделирования. Классический пример такого сходства представ­
ляют ланчестерская квадратичная модель боя [5] и модель боя
типа А динамики средних [6]. Дифференциальные уравнения этих
моделей имеют вид
~ a l~ = - h m 2(t)\
0 - 1)
ml (0) = N, m2(0) = M.
Для детерминированной ланчестерской модели:
т и т2— текущие численности боевых средств сторон;
Nt М — начальные численности боевых средств сторон;
А,|, f a — скорострельности боевых средств сторон.
Для модели динамики средних:
т и т2— математические ожидания численностей боевых
средств сторон;
A*i, f a — эффективные скорострельности боевых средств сто­
рон.
Отличительная черта детерминированной модели (1.1) состоит
в том, что при заданных fa, fa* N, М процесс полностью определен
для любого момента времени t > 0. При стохастической трактовке
модель ( 1.1) описывает динамику математических ожиданий чис­
ленностей боевых средств, участвующих в бою, и следовательно,
характеризует бой в среднем, представляя лишь оценки для каж­
дой конкретной реализации. Непредсказуемость точных результа­
тов боя — отличительная черта стохастических процессов. Отраже­
ние этой черты в стохастических моделях боевых действий прояв­
ляется в том, что они позволяют предсказать только средние ре­
зультаты (моменты распределения результатов боя) или вероят­
ности наступления тех или иных результатов.
Для динамических процессов боевых действий аналитические
модели удается построить, если эти процессы представляют собой
(точно или приближенно) так называемые марковские случайные
процессы. Это обстоятельство наряду с тем, что любой случайный
7
процесс путем соответствующего выбора (построения) простран­
ства состояний может быть достаточно точно аппроксимирован
марковским процессом [12], явилось основой для широкого приме­
нения марковских случайных процессов при моделировании бое­
вых действий.
1.3. Определение и классификация
марковских случайных процессов
Марковские случайные процессы получили свое наименование
по имени выдающегося русского математика Андрея Андреевича
Маркова (1850—1922), который впервые в 1907 г. ввел основные
понятия и в дальнейшем исследовал основные свойства процессов.
Уже по своему определению марковские случайные процессы
близки ко многим процессам реального мира. Это обусловило бур­
ное развитие их теории и приложений. В настоящее время марков­
ские случайные процессы широко применяются в математической
биологии и генетике, в экономике, физике, химической кинетике и
теории массового обслуживания.
Исключительно важная роль отводится марковским случайным
процессам при моделировании боевых действий. В математическом
описании боевые действия рассматриваются как система, которая
в силу ряда факторов может переходить в различные состояния.
Под системой может пониматься группа самолетов, артиллерий­
ский дивизион, группировка войск, участвующих в операции
(бою), и т. п. Состояниями системы могут быть те или иные собы­
тия, например количество непораженных орудий в артиллерийском
дивизионе, или глубина продвижения войск, участвующих в опе­
рации, или их пространственное расположение, или степень боеспо­
собности, или совокупность этих событий и т. п.
Если состояние системы меняется во времени случайным обра­
зом, то говорят, что в системе протекает случайный процесс. Слу­
чайный процесс X(t) называется марковским (или процессом без
последствия), если вероятности состояний в любой будущий мо­
мент времени t > t 0t t (Е [0, Т] при условии, что точно известно со­
стояние X(t0) = x о в текущий момент времени /0» не изменяются
при учете дополнительной информации о прошлом данного про­
цесса, т. е. при заданных значениях х и х2, . . ., хп справедливо со­
отношение
P \ X ( t n) < x n\ X ( t l) = x l, *(*«) = * « ,..., * (/„ -i) = =
= P\X(tn) < x n\X(tn-i)=xn-A ( 1. 2)

при любых tn > tn- 1> . . . >t\ из отрезка [0, Г], где Р — вероят­
ность события, указанного в скобках. Чтобы формально опреде­
лить марковский случайный процесс в системе, необходимо:
1) определить отрезок [0, 7], из которого может принимать
значения параметр /;
2) определить множество Y — всех возможных состояний си­
стемы;
8
 3) определить условные вероятности Rkj (t, т) того, что слу­
чайная функция X(t) в момент т >t (t , [О, Г]) равна Ху £ К,
если в момент t эта функция была равна х к £ Y, т. е.
**/(<• ') = Р \ Х ( * ) = Х1\ Х Ц ) = jc*}, t, т £ [ 0, Л , x h х*£ К; (1.3)
4) определить вероятности Р к (t) того, что в момент времени t
X ( t ) - x k, х к £ Y.
В основу классификации марковских случайных процессов по­
ложены характер множества У и характер изменения параметра /.
В зависимости от того, непрерывное или дискретное множество
значений принимают X(t) и параметр /, различают следующие
виды марковских случайных процессов [13].
1. Марковская цепь (дискретная случайная марковская по­
следовательность) — это дискретный процесс с дискретным вре­
менем. В данном случае / пробегает дискретный ряд значений
<о, tu . . ., tN и случайная величина X ( ti) = x i может принимать
лишь дискретное множество значений Y = { x lt .v2, . . дса). Множе­
ства значений {.*/}, /==1, п и \tf \, / = 0, N могут быть как конеч­
ными, так и бесконечными (счетными).
Примером процесса, формально описываемого цепью Маркова,
может служить нанесение последовательных (в строго определен­
ные моменты времени /0, tu • . ., lN) ударов по некоторому объ­
екту противника. Состояние объекта, в котором он окажется после
очередного удара, зависит только от того, в каком состоянии он
находился перед этим очередным ударом, но не зависит от того,
каким образом он был переведен в это состояние.
2. Марковская последовательность (непрерывный процесс с ди­
скретным временем). Этот процесс отличается от цепи Маркова
тем, что случайная величина X(tn), п = 0, N может принимать кон­
тинуум значений (т. е. Y — непрерывное множество). Примером
процесса, формализуемого в виде марковской последовательности,
может служить нанесение последовательных ударов в строго опре­
деленные моменты времени /л, /2= 0, N по некоторому объекту про­
тивника, состояние которого определяется уровнем боеспособности,
принимающим значение на отрезке [0, 1].
3. Дискретный марковский процесс (дискретный процесс с не­
прерывным временем). В этом случае X(i) принимает дискретные
значения (т. е. Y — дискретное множество), а параметр t прини­
мает континуум значений из отрезка [0, Т].
Примерами дискретных марковских процессов (или, как их ино­
гда называют, непрерывных цепей Маркова) могут служить про­
цессы, протекающие в системах массового обслуживания с пуассо­
новским потоком заявок и экспоненциальным временем обслужива­
ния.
4. Непрерывный марковский случайный процесс. В данном слу­
чае X(t) принимает значения из непрерывного пространства У и
аргумент t принимает континуум значений из отрезка {0, Т].
9
 Примерами непрерывных марковских случайных процессов яв­
ляются диффузионные процессы, процесс броуновского движения.
При моделировании боевых действий процессы этого типа могут
применяться для описания перемещения линии фронта.
Характер временных реализаций для указанных четырех типов
марковских случайных процессов приведен в табл. 1.1 [13].
Таблица 1.1

Прост ранст во сост ояний

Д искрет ное Непрерывное

00J
з:
1
5-
О
Е
*
>»
(О
последовательность

Д и скр е т н ы й
марковский процесс - Непрерывный марковский
случайный процесс
{непрерывная цепь Маркова)
э

Процессы боевых действий, как правило, описываются вектор­

ными случайными процессами
Г(/) = [ * . ( 0 , * 2(0 . ■ • •. *Л01-
В общем случае компоненты Xt (>0, г=1, п могут относиться к раз­
ным типам марковских случайных процессов, перечисленных выше.
В дальнейшем мы более подробно остановимся на двух типах
марковских случайных процессов — цепях Маркова и дискретных
марковских процессах.
Ю
 II. ПРИМЕНЕНИЕ ДИСКРЕТНЫХ ЦЕПЕЙ МАРКОВА
К МОДЕЛИРОВАНИЮ БОЕВЫХ ДЕЙСТВИЙ
2.1. Основные понятия и свойства
При применении теории марковских цепей для моделирования
боевых действий моделируемый боевой процесс рассматривается
как некоторая физическая система, которая в каждый момент вре­
мени / £ [О, Т] может находиться в одном и только одном из п
возможных состояний Y = \ x 1, х2у . . хп). В фиксированные мо­
менты времени t\y t2y h, . . . эта система под воздействием случай­
ных факторов может переходить из одного состояния в другое или
оставаться в прежнем состоянии.
Вероятность того, что система в момент времени tk окажется
в состоянии Ху, / = 1, я, полностью определяется состоянием, в ко­
тором система находилась в момент времени 4 - ь
Полное вероятностное описание поведения этой системы дости­
гается заданием вектор-строки вероятностей начального состоя­
ния

p(0)= \\ptm \ , i= \, п (2.1)

и последовательности матриц вероятностей одношаговых перехо­

дов из состояний Х{, / = 1, п в состояния Xj, j — 1, п:

R( k) = ||Я |У(**)||, i, / = ТГп. 6=1, 2, 3, . . . (2.2)

Каждая из матриц R{k), 6= 1, 2, 3, . . . представляет собой квад­
ратную матрицу конечного (если множество У конечно) или бес­
конечного (если Y — счетное множество) порядка.
Так как все элементы матриц (2.2) являются вероятностями, то
они — неотрицательные числа, не превосходящие единицу.
Элементы t-той, i = l , п строки матриц (2.2) являются вероят­
ностями переходов при 6-том, 6 = 1, 2, 3, . . . шаге процесса из co­
ll
стояния x t соответственно в состояния х и х2, . . х„. Так как на
каждом шаге обязательно происходит один из этих переходов, то
имеет место равенство

t Ri, (tk) = 1, i= k= 1, 2, 3, . . . (2.3)

/-1
Свойство (2.3) может использоваться для проверки правильности
определения элементов матриц (2.2).
В каждом столбце матриц (2.2) всегда имеется хотя бы один
отличный от нуля элемент, так как в противном случае из усло­
вия Rij(tk) = 0, i = l , п следовало бы, что на £-том шаге процесса
невозможен переход в состояние Xj из любого x lt t = l , п (в том
числе и из Xj), а это противоречит условию неизменности прост­
ранства состояний системы от испытания к испытанию.
Матрицы (2.2), удовлетворяющие этим условиям, называются
стохастическими.
Зная стохастические матрицы (2.2) цепи и вектор-строку ве­
роятностей начального состояния (2.1), можно вычислить вероят­
ности состояния цепи после т шагов по формуле

Р(т)=Р(0) П /?(*). (2.4)

Среди дискретных цепей Маркова различают однородные и не­

однородные. Однородные цепи характеризуются тем, что вероят­
ности переходов Rij(tk), i, j= 1, п не зависят от /*, т. е.
Rii (* а) = Rij> *"» / = 1> я. fe=l, 2, 3, . . .
Для однородных марковских цепей соотношение (2.4) прини­
мает вид
P ( m ) = P ( 0 ) R ”. (2.5)
Для матрицы переходов цепи за m + k шагов имеет место ра­
венство
/?(* +*) = (2.6)
где R k — матрицы вероятностей переходов за т и k шагов.
Уравнение (2.6) представляет собой функциональное уравнение
Колмогорова—Чепмена в матричной форме. Частный случай этого
уравнения для конечных цепей был получен А. А. Марковым и но­
сит название уравнения Маркова.
Функциональное уравнение (2.6) имеет фундаментальное зна­
чение в теории марковских цепей и их приложениях. Использова
ине соотношения (2.6) позволяет сократить объем вычислений при
определении матрицы вероятностей переходов однородной цепи
за п шагов. Например, необходимо вычислить матрицу вероятно­
стей переходов однородной цепи за 16 шагов. Процесс вычисления
в соответствии с (2.6) можно организовать следующим образом:
R2=RR-, R* = R2R2\ R8=R*R4; R l6=R 8RB, т. e. вместо 15 последова­
тельных перемножений матриц R к тому же результату можно
прийти с помощью четырех.
Множество состояний цепи и возможных переходов часто удоб­
но представлять в виде графа, т. е. схемой, образованной верши­
нами (соответствующими состояниям x t ^ Y ) , соединенными
между собой ориентированными дугами (соответствующими воз­
можным переходам).
Например, для цепи со стохастической матрицей

0,1 0,1 0,7 0,1

0 0,5 0,5 0
R(k)=R = (2.7)
0 0 0,8 0,2
0,9 0 0 0,1 _
граф состояний имеет вид, как на рис. 2.1.
На размеченном графе состоя­
ний проставляются только те пере­
ходные вероятности, которые не рав­
ны нулю и меняют состояние систе­
мы. Вероятности /?ц, R 22 , . . . на
графе не проставляются, так как
каждая из них дополняет до едини­
цы сумму переходных вероятностей,
соответствующих всем стрелкам, ис­
ходящим из данного состояния.
Для иллюстрации применения
марковских цепей рассмотрим не­
сколько примеров.
Пример 2.1. По объекту против­
ника, содержащему две цели, нано­
сятся два независимых удара. При Рис. 2.1
бгтом ударе, k = l , 2 вероятность по­
ражения только первой цели равна
rv(k), только второй цели — r2(k), первой и второй цели — r3(fz).
Требуется определить вероятности поражения целей после двух
ударов.
Р е ш е н и е . Пусть состояние Х\ означает непоражение обеих
целей, состояние х2 — поражение только первой цели, состояние
дг3 — поражение только второй цели, х4 — поражение первой и вто­
рой целей.
До нанесения ударов вероятности этих состояний равны
я « | | л || = [ Ю оо 1.
13
 Чтобы найти вероятности поражения целей после нанесений
ударов, необходимо сначала построить стохастические матрицы
R (ft) = || Rij (ft) ||, / , / = Г Г ft = 1, 2.
Если исходным состоянием является x it то вероятность пере­
хода в состояние х2 (вероятность поражения только первой цели)
при ft-том ударе равна R\2(k)=ri(k), вероятность перехода в со­
стояние х3 равна Я\з(Ь)=т2(к), вероятность перехода в состояние
х4 равна Ru{k) = r3(ft). Вероятность остаться в состоянии Xi равна
(см. (2.3)
1 - R n (k) - / ? , 3(А) - * ,« ( * ) = 1 - r i(k) - r 2{ k ) - r 3(k )= r0(k).
Если исходным состоянием является х2 (т. е. поражена только
первая цель), то вероятность перехода в х\ равна нулю (так как
не может быть непораженных целей) и вероятность перехода в
состояние хз также равна нулю (так как не может быть поражена
только вторая цель). Вероятность перехода в состояние х4 равна
# 2<=Mft) + гз(Л); вероятность остаться в состоянии х2 равна
1 — r2(k) + г3(к) =г0(к) +Г\(ft). Если исходным состоянием являет­
ся Х з , то
#31=0; Т?з2= 0; R 3 3 = 1 — г\ (ft) — гз(Ь) = ro(k) 2(ft);
R3i = r 1(ft) + Mft) ■
Если исходным состоянием является х4, то R4i = R42= R 43 = 0,
R44=\. Таким образом, матрица перехода для ft-того удара равна
Го (*) г 1(ft) r2(k) г3(к)
0 + 0 *■*(*) + г, (ft)
l ) “ 0 0 г0( к ) + г 2(к)гЛк) + г9(11)
0 0 0 1
Теперь для определения вероятностей поражения цели после
двух ударов можно воспользоваться формулой (2.4). Получим:
1) вероятности состояний после первого удара равны
Р(\) = \\г0(\) Г,(1) М П г3( 1) ||;
2) вероятности состояний после второго удара равны
Р(2) = ||г0(1)го(2); г0(1)го(2)+(го(2)+гР(2)]г1(1);
Г2(2)го(1) +[г0(2) + г2(2)]г2( 1)г3(2)Го(1) +
+ [гг(2) + г3(2)]Г| ( 1) +[iTi (2) + г3(2)]г2( 1) + г3( 1) ||. (2.8)
Анализ вероятностей состояний системы после двух последова­
тельных уларов показывает, что вероятность непоражения ни од­
ной цели (вероятность состояния JCi) не зависит от последователь­
ности уларов. Вероятности же остальных состояний зависят от
14
последовательности ударов. Поэтому при различной важности це­
лей для этой цепи может быть сформулирована оптимизационная
задача, например, следующего вида.
Пример 2.2. В условиях примера 2.1 определить последо­
вательность ударов, максимизирующую математическое ожи­
дание ущерба противнику, если важность первой цели рав­
на А и второй Д2-
Математическое ожидание ущерба может быть вычислено по
формуле
U=A\P2+A2p3+ {Ai+Ai)pi, (2.9)
где p i ( i —2, 4) — вероятности состояний х ( после двух ударов.
Задача решается путем перебора. На первом шаге из (2.8) оп­
ределяются вероятности /><*>, i = 2, 4 при первом варианте органи­
зации последовательности ударов и по формуле (2.9) определяется
ущерб На втором шаге из (2.8) определяются вероятности
р (Р при втором варианте организации последовательности ударов
и по формуле (2.9) определяется ущерб. Оптимальным является
вариант организации последовательности ударов, доставляющий
большее значение ущерба.
Если количество вариантов велико, то для решения оптимиза­
ционных задач на цепях могут применяться методы целочислен­
ного программирования.
Пример 2.3 [7]. Эскадрилья бомбардировщиков насчитывает
4 самолета. Как правило, эскадрилья получает боевое задание
один раз в день. Если к концу дня наличный состав самолетов
уменьшается до 0, 1 или 2 из-за потерь, нанесенных противником,
командир эскадрильи получает один самолет из резерва; этот са­
молет доставляется ему ночью. Если наличный состав окажется
равным 3 или 4 самолетам, командир не имеет права на пополнение.
На следующий день, если в наличии 3 или 4 самолета, эскадрилье
дается боевая задача. В противном случае задача отменяется. Во
время выполнения задачи каждый самолет может быть выведен
из строя с вероятностью р. Если на задание посылаются п само­
летов, вероятность того, что k из них будут выведены из строя, за­
дается биномиальным распределением

0 (* > - » ! ( , % ! J’**1

Необходимо определить математическое ожидание числа само­

летов в эскадрилье, если длительность боевых действий t-*-oo.
Эскадрилья самолетов может рассматриваться как некоторая
система, состояния которой характеризуются количеством самоле­
тов. Динамика системы заключается в изменении количества са­
молетов в силу действия случайных факторов и может быть фор­
15
мально описана в виде марковской цепи, граф состояний и стоха­
стическая матрица которой изображены на рис. 2.2.
Решение задачи 2.3 связано с исследованием поведения цепи
после достаточно большого количества испытаний.

(1) (2) (3) (4) состояние системы

на I +1 шаае

(1) 0 1 • 0 0

(2) 0 0 i 0

(3) Р3 ър7Ч ЗР92+93 0

(4) 4р\ W +
я4 94
+ 4 р<?

состояние системы на i -том ш аге

Рис. 2.2

Применение соотношений (2.4), (2.5), (2.6) к решению задач

подобного типа приводит к очень громоздким вычислениям, нера­
циональному расходу машинного времени ЭВМ, а иногда и вовсе
нс позволяет получить решение в разумные сроки'. Вместе с тем
задачи, связанные с определением характеристик цепи после до­
статочно большого числа шагов, являются важными для приложе­
ний (в том числе и при моделировании боевых процессов). Это
обусловливает необходимость построения специальных подходов
к решению подобных задач. При этом построение единых и доста­
точно эффективных в вычислительном отношении методов возмож­
но только для частных типов цепей. Последнее приводит к необхо­
димости деления цепей на такие типы, т. е. к их классификации.1
1 Решение примера 2.3 будет завершено в п. 2.5.
16
 2.2. Классификация состояний и цепей
Состояния марковской цепи могут быть классифицированы раз­
личными способами. В настоящее время наибольшее распростра­
нение получил подход Колмогорова, в соответствии с которым со­
стояния классифицируются в зависимости от того, может ли си­
стема перейти из данного состояния в другое данное состояние.
Эта классификация имеет большое значение при изучении асимпто­
тического поведения вероятностей перехода за k-*-oo шагов.
О п р е д е л е н и е 2.1. Состояние x t £ Y называется существен­
ным, если для каждого состояния xf £ Y, достижимого из xt, со­
стояние Х{ достижимо за конечное число шагов из Xj. Состояние,
не являющееся существенным, называется несущественным, напри­
мер для цепи, граф состояний которой изображен на рис. 2.3.

Рис. 2.3

Состояния х2, х3, хА, jt5, х6, х7, х6, хэ являются существенными,
состояние Х| является несущественным.
О п р е д е л е н и е 2.2. Существенные состояния лс< и Xj назы­
ваются сообщающимися, если Xj достижимо за конечное число
шагов из x t, и наоборот.
Для цепи рис. 2.3 состояния х2 и х3 являются сообщающимися,
а состояния х4 и лг5 не сообщаются.
О п р е д е л е н и е 2.3. Множество состояний 5 ' с= У называется
замкнутым, если невозможны одношаговые переходы из любого
состояния множества 5 в любое состояние множества S \ K — до­
полнения множества S. Для цепи рис. 2.3 состояния х8, Хд обра­
зуют замкнутое множество.
Все существенные состояния цепи можно разбить на /
(1 ^ ^ л) классов «|, и2, . . . , « ( таким образом, что состояния,
2 Змс. 569 17
относящиеся к одному классу, сообщаются, а состояния различ­
ных классов между собой не сообщаются. Например, для цепи
рис. 2.3 Ui == ^2 == { } » ^8 ^ {^б* **6> ^4 i*^8> ^э}*
Каждый из классов сообщающихся состояний образует эрго-
дическое множество, т. е. такое множество состояний, в котором
из любого состояния можно попасть в любое другое состояние
этого множества и из которого, попав в него, нельзя уйти.
Если эргодическое множество состоит из одного состояния, то
это состояние называется поглощающим.
Любая марковская цепь содержит хотя бы одно эргодическое
множество состояний, в то время как несущественных состояний
может и не быть.
В соответствии с приведенной классификацией состояний и их
групп все цепи Маркова можно классифицировать следующим
образом. В зависимости от количества замкнутых множеств со­
стояний различают:
1) цепи, содержащие более чем одно замкнутое множество со­
стояний; »
2) цепи, содержащие только одно замкнутое множество состоя­
ний.
Цепи, содержащие более чем одно замкнутое множество со­
стояний, называют разложимыми. Примером разложимой цепи яв­
ляется цепь, граф состояний которой показан на рис. 2.3. Эта цепь
включает следующие два замкнутых множества состояний:

I*». •••. *?}; I-** -*91-

Марковская (стохастическая) матрица разложимой цепи может
быть записана в виде блочной матрицы, например

где R\ и R.2 — стохастические матрицы, описывающие переходы

внутри двух замкнутых множеств состояний.
Система, выходящая из некоторого состояния, соответствую­
щего R\, никогда не может оказаться в любом состоянии, соответ­
ствующем /?2» и наоборот. Поэтому разложимая цепь распадается
на отдельные цепи, которые могут изучаться независимо друг от
друга. Тем самым изучение поведения разложимых цепей Марко­
ва сводится к изучению поведения неразложимых (содержащих
только одно замкнутое множество) цепей.
Неразложимые цепи Маркова в свою очередь можно разделить
иа цепи без несущественных состояний и цепи с несущественными
состояниями.
Цепи без несущественных состояний могут содержать одно или
более эргодических множеств. Если цепь без несущественных со­
стояний содержит более чем одно эргодическое множество, то меж-
IM
ду ними нет никакого взаимодействия и, следовательно, такая цепь
распадается на несколько (по числу эргодических множеств) изо­
лированных цепей, каждую из которых можно изучать по отдель­
ности. Поэтому, не теряя общности, можно полагать, что цепь без
несущественных состояний содержит только одно эргодическое
множество (т. е. является эргодической). Примером эргодической
цепи может служить цепь, изображенная на рис. 2.1.
Среди эргодических цепей выделяют регулярные и цикличе­
ские.
Циклической называется эргодическая цепь, в которой в каж­
дое состояние можно попадать только через определенные проме­
жутки времени (определенное количество шагов). Самая простая
циклическая цепь показа­
на на рис. 2.4.
Регулярными называ-
ют эргодические цепи, не
являющиеся циклически­
ми.
Примером цепи с несу­
щественными состояниями
является цепь, граф со- Рис- 2,4
стояний которой изобра­
жен на рис. 2.2, или цепь, образованная состояниями {хи х2, . . .,
рис. 2.3. В таких цепях процесс движется к эргодическим мно­
жествам и вероятность того, что процесс находится в одном из эр­
годических множеств, стремится к единице по мере увеличения
времени. Кроме того, попав в одно из эргодических множеств, про­
цесс не может его покинуть. Поэтому цепи с несущественными со­
стояниями естественно классифицировать по типу эргодических
множеств.
Принято различать:
а) поглощающие цепи (цепи, все эргодические множества ко­
торых содержат только по одному состоянию);
б) цепи, у которых все эргодические множества регулярны, но
не все из них являются поглощающими;
в) цепи, у которых все эргодические множества цикличны;
г) цепи, содержащие циклические и регулярные эргодические
множества.
Как следует из классификации, основными типами марковских
цепей, из которых можно построить цепи произвольного вида, яв­
ляются:
эргодические регулярные цепи;
эргодические циклические цепи;
поглощающие цепи.
Поэтому далее мы рассмотрим некоторые методы определения
характеристик поведения этих типов цепей и подходы к анализу
цепей общего вида на основе этих методов.
2* 19
 2.3. Поглощающие цепи
В данном пункте мы ограничимся изучением только конечных
поглощающих цепей. Это обусловлено, с одной стороны, тем, что
конечные цепи наиболее интересны с точки зрения приложений
для моделирования боевых процессов, а с другой — тем, что для
характеристик конечных цепей можно построить достаточно про­
стые матричные выражения. При этом мы ограничимся только
формулировкой основных результатов в виде, удобном для прило­
жений. Подробные доказательства результатов, изложенных в дан­
ном и последующих пунктах раздела, можно найти в работе [8].
Напомним, что поглощающей называется марковская цепь, все
эргодические множества которой являются поглощающими. При­
мером поглощающей цепи может служить цепь, граф состояний и
марковская матрица которой изображены на рис. 2.5.

1 0 1 0 0

0 1 ■1 0 0

0 1
*3 , ^33 “* 3 4

1-----------
0
*4 2 ! *4 3

Рис. 2.5

Эта цепь содержит два несущественных (невозвратных) со­

стояния {ж3, х4| и два поглощающих состояния \ x it х%\. Для ана­
лиза поглощающей цепи удобно матрицу вероятностей переходов
записывать в канонической форме.
Пусть имеется некоторая поглощающая цепь, содержащая s
невозвратных и л—s поглощающих состояний. Тогда, нумеруя эти
состояния последовательно, начиная с поглощающих, мы получим
цепь с матрицей вероятностей переходов вида

1 0 1 }л — х
R = ( 2 . 10)
.Р qJ s
где / — единичная матрица размерности (л—s) X (л—s ) ;
0 ■—нулевая матрица размерности (л—s)Xs ;
Q квадратная матрица размерности sXs;
I* — матрица размерности s X (л—s).
Матрица вида (2.10) называется канонической матрицей по­
глощающей цепи. Например, матрица вероятностей переходов для
поглощающей цепи рис. 2.5 записана в каноническом виде.
20
 Матрица Q описывает поведение цепи до выхода из множе­
ства невозвратных состояний. Так как в любой конечной поглоща­
ющей цепи Маркова вероятность оказаться в одном из поглощаю­
щих состояний стремится к единице, если количество шагов £-*-оо,
то lim Qk = 0.
к -*■<»
Матрица Р соответствует переходам из невозвратных в по­
глощающие состояния.
Из определения операции произведения матриц следует, что
при возведении матрицы R в степень подматрица / не меняется.
Это является формальным отражением того факта, что, достигнув
одного из поглощающих состояний, система уже не может его по­
кинуть.
Мнбгие важные характеристики поглощающей цепи Маркова
могут быть получены на основе фундаментальной матрицы этой
цепи.
О п р е д е л е н и е . Фундаментальной матрицей поглощающей
цепи называется матрица

N = ([-Q )~\
где / — единичная матрица размерности sXs;
Q — матрица, определяемая из (2.ГО).
Обозначим:
п/ — функция, равная общему числу моментов времени (ша­
гов) нахождения системы в состоянии х{. Эта функция
определена (имеет конечное значение) только для невоз­
вратных состояний;
М к [/*,] — математическое ожидание для я у при условии, что про­
цесс начался из состояния x t:
Di [йу] — дисперсия для п/ при условии, что процесс начался из
невозвратного состояния л:,.
Тогда имеют место соотношения

{/W,>y]} = A ^ ( / - Q ) - ', (2.11)

т. е. элемент, стоящий на пересечении i-той строки и /-того столб­

ца фундаментальной матрицы, равен математическому ожиданию
числа моментов времени нахождения системы в состоянии Xj при
условии, что процесс начался из невозвратного состояния х {,
IDt [п,\\ = N (2 N d4 - /) - Ntq, (2.12)
где Ndq~~ матрица, получаемая из N заменой всех элементов, не
лежащих на главной диагонали, нулями;
N sg— матрица, получаемая из N возведением в квадрат каж­
дого элемента.
И
 Важными характеристиками поглощающей цепи являются так­
же следующие:
ti — количество шагов, за которое система достигнет погло­
щающего состояния при условии, что процесс начался
из состояния Xi\
Ьц — вероятность того, что система, выйдя из состояния х 1% до­
стигнет поглощающего состояния хуу
m i — количество невозвратных состояний, в которых система
побывает до поглощения;
Г(— время пребывания системы в невозвратном состоянии х (
до выхода из этого состояния;
Л/у— вероятность того, что система, выйдя из состояния x t хотя
бы один раз, побывает в состоянии Xj.
Приведем формулы для определения математических ‘ожида­
ний и дисперсий этих характеристик:
( Ж | ^ ] } = М = т; (2.13)
(2.14)
где е — вектор-столбец размерности s, все компоненты которого
равны единице;
t sq— вектор-столбец, полученный из т возведением в квадрат
каждого элемента.
Соотношения (2.13), (2.14) определяют вектор-столбцы, эле­
менты в /-той строке которых равны соответственно математиче­
скому ожиданию и дисперсии количества шагов, за которые систе­
ма достигает поглощающего состояния при условии, что процесс
начался из состояния х».
£ = II bij || = NP, (2.15)
где Р — матрица, определяемая из (2.10).
• Элемент, стоящий на пересечении /-той строки и /-того столб­
ца матрицы Ву определяемой соотношением (2.15), равен вероят­
ности достижения поглощающего состояния Xj при условии, что
процесс начался из состояния х г
\М [«,]} = Л /Л # «. (2.16)
Соотношение (2.16) определяет вектор-столбец, элементы кото­
рого равны математическим ожиданиям числа невозвратных со­
стояний, через которые система проходит до поглощающего со­
стояния, если процесс начинается из состояния х{.
М [г,] = 1/(1 — /?(<•); (2.17)
(2.18)

где Rn, / = I, // — элементы матрицы R вероятностей переходов

цени.
t f H |M = (JV-l)A^\ (2.19)
22
 Элемент, стоящий на пересечении i-той строки и /-того столб­
ца матрицы Н, равен вероятности достижения системой хотя бы
один раз состояния я,- при условии, что процесс начался из невоз­
вратного СОСТОЯНИЯ X j .
Соотношения (2.11) — (2.19) позволяют решать широкий круг
задач, связанных с анализом поведения поглощающих цепей.
Пример 2.4. Артиллерийский дивизион в ходе боевых действий
может находиться в одном из следующих состояний:
Х\ — дивизион не боеспособен в результате поражения против­
ником;
х2 — дивизион не боеспособен из-за израсходования боеприпа­
сов;
*з — дивизион боеспособен, но не выполняет огневую задачу;
х4 — дивизион выполняет огневую задачу.
Возможные переходы и их вероятности за каждый час боевых
действий показаны на рис. 2.6. Требуется определить: 1) матема­
тическое ожидание числа огневых задач, выполненных дивизио­
ном до потери боеспособности; 2) вероятность поражения дивизио­
на до израсходования боеприпасов; 3) вероятность израсходования
боеприпасов до поражения дивизиона противником.

1 о 1 О О
I
0 1 1 0 0
0,1 О I 0,4 0,5

0,2 0,1 j 0,3 0.4

Рис. 2.6

Р е ш е н и е . Математическое ожидание числа огневых задач,

выполненных дивизионом до потери боеспособности, зависит от со
стояния, из которого начались боевые действия, и равно УИ, (//4J.
Из соотношения (2.11) определяем
о

/г 1 01
{**<>/]} = ( / - Q>" - ([ 0 .1 [о,з 0,
(3) (1)
0,6 - 0 ,5 ] - ' (3)Г 2,9 2,4'
.- 0 ,3 0,6 J ~М)[ 1,4 2,9
М4[Х|]=2,9 (бой начинается с выполнения огневой задачи);
M2[xj[=2,A (дивизион с начала боя не выполняет огневую за­
дачу) .
2.1
 Вероятность поражения дивизиона до израсходования боепри­
пасов и вероятность израсходования боеприпасов до поражения
дивизиона зависят от состояния в начале боевых действий и рав­
ны соответственно
Ьп и 6(2, I = 3, 4.
Из соотношения (2.15) находим матрицу

Вероятности поражения дивизиона до израсходования боеприпасов

равны ^зх =0,77, &4i=0,72. Вероятности израсходования боеприпа­
сов до поражения дивизиона противником равны 632 = 0,23, 642 =
= 0,28. --
Анализ результатов решения показывает, что количество бое­
припасов, выделенное дивизиону на бой, явно завышено, так как
вероятности их израсходования до поражения дивизиона противни­
ком малы по сравнению с вероятностями поражения дивизиона до
израсходования боеприпасов, а живучесть дивизиона низка. По­
этому требуется проведение мероприятий по повышению живу­
чести дивизиона, а количество боеприпасов может быть снижено.

2.4. Эргодические цепи Маркова

Наряду с поглощающими цепями эргодические марковские
цепи являются тем основным «элементарным» типом цепей, из ко­
торых можно построить марковские цепи произвольного вида.
Основным свойством эргодической марковской цепи является
возможность за конечное число шагов перейти из каждого состоя­
ния цепи л £ Y в любое другое дс;- £ Y. 1
Из п. 2.2 следует, что эргодические цепи могут быть либо ре­
гулярными, либо циклическими.
Необходимым и достаточным условием регулярности цепи яв­
ляется существование такого числа N ь что все элементы матрицы
R N вероятностей переходов за N ^ N i шагов не равны нулю. Фи­
зически это означает, что через конечное число шагов N ^ N \ си­
стема может перейти в любое из возможных состояний.
Для циклической цепи такого числа N t не существует. Никакая
степень матрицы вероятностей переходов для циклической цепи не
является положительной матрицей, и различные степени матрицы
содержат на разных местах нули, положение которых циклически
повторяется с увеличением числа шагов процесса. Это циклическое
повторение расположения нулей в матрицах вероятностей перехо­
дов цени является формальным отражением того факта, что пере­
ход системы из одной группы состояний в другую происходит за
24
строго определенное конечное число шагов. Каждая из этих групп
состояний составляет один циклический класс.
Поэтому циклическая цепь может определяться как эргодиче-
ская марковская цепь, содержащая более чем один циклический
класс, а регулируемая цепь— как эргодическая цепь, содержащая
только один циклический класс состояний.
Убедиться в регулярности цепи можно с помощью матрицы R
вероятностей переходов (марковской матрицы) эргодической цепи.
Достаточным условием регулярности является следующее:

£ Ru * 0. (2.20)
i-i
Условие (2.20) означает, что хотя бы один элемент матрицы ве­
роятностей переходов цепи, лежащий на главной диагонали, от­
личен от нуля. Физически это означает, что система за одно испы­
тание (за-один шаг) может не сменить своего состояния и, следо­
вательно, все состояния ее непериодические, т. е. множество Y
всех состояний системы составляет только один циклический
класс.
Для регулярных марковских цепей имеет место следующая ос­
новная теорема [8].
Теорема 2.1. Если R — регулярная переходная матрица, то:
1) степени Rm стремятся (при /п-»-оо) к вероятностной мат­
рице А\
2) каждая строка матрицы А представляет один и тот же ве­
роятностный вектор a=[cii, аг, - - ., а„];
3) все компоненты вектора а положительны (т. е. а, > 0, / =
=Т7п);
4) при любом начальном распределении Р(0) = (/?|(0),
/МО), . • рп (0)] последовательность векторов P(0)Rm сходится
к вектору а при т-*-оо;
5) вектор а — единственный вероятностный вектор, для кото­
рого
aR —u. (2.21)
Матрицу А принято называть предельной матрицей, а вектор d —
финальным распределением (предельным вектором) марковской
цепи, определяемой регулярной матрицей R.
Физически компоненты вектора <х=[аь «2. • • •. а„] выражают
ожидаемую (среднюю) долю времени, которую система проводит
в соответствующих состояниях {*1, х2.......... *„}, если процесс в
ней протекает достаточно долго.
Из теоремы 2.1 следует существование для регулярных эрго-
дических цепей, не зависящих от начальных распределений, фи­
нальных вероятностей состояний. Теорема 2.1 определяет также
два конструктивных подхода к вычислению этих вероятностей.
25
 Первый подход заключается в возведении матрицы R — веро­
ятностей переходов цепи в достаточно высокую степень и позво­
ляет определять приближенные значения финальных вероятно­
стей.
Чтобы сократить необходимый для этого объем вычислений,
можно воспользоваться приемом, предложенным в п. 2.1, т. е. каж­
дую из стохастических матриц возводить в квадрат:
R2=RR\ R*—R2R2\ R8= R*'Ri; . . .
Процесс вычислений заканчивается, когда элементы столбцов ре:
зультирующей стохастической матрицы с заданной точностью ста­
нут равны друг другу. Любая из строк этой матрицы может быть
взята в качестве приближения вектора финальных вероятностей.
Пример 2.5. Батарея самоходной артиллерии в ходе боевых
действий может находиться в одном из трех позиционных районов.
Возможные переходы из района в район и их вероятности за каж­
дый час боевых действий изображены на рис. 2.7. Требуется опре­
делить финальные вероятности нахождения батареи в каждом из
районов.

Рис. 2.7

Р е ш е н и е . Процесс переходов батареи в различные районы

представляет собой эргодическую регулярную цепь Маркова. По­
этому финальные вероятности могут быть определены возведени­
ем матрицы вероятностей переходов в достаточно высокую сте­
пень. Имеем
0,40009 0,20010 0,39981 I
R 0,40010 0,19998 0,39992
0,39998 0,20001 0,40001
Элементы столбцов матрицы вероятностей переходов за во­
семь шагов RB с точностью 3-10-2 % равны друг другу. Поэтому
любая строка этой матрицы может быть принята в качестве при­
ближения (с точностью 3 • 10-2 %) вектора финальных вероятно­
стей состояний батареи.
2б
 Второй конструктивный подход к вычислению финальных ве­
роятностей регулярной эргодической цепи заключается в решении
относительно а матричного уравнения (2.21) при дополнительном
условии .

2 « ,= I (2 22)

и позволяет вычислить точные значения финальных вероятно­

стей состояний цепи. При этом для определения п неизвест­
ных компонент вектора а=[<хь аг, . . ., а„] имеется п +1 урав­
нение. Однако вследствие условия связи (2.22) система алгебраи­
ческих уравнений, определяемая матричным уравнением (2.21),
оказывается линейно-зависимой. Поэтому (2.21), (2.22) содержат
только п линейно-независимых уравнений относительно п неиз­
вестных а/, 1= 1, п.
Пример 2.6. В условиях примера 2.5 определить финальные ве­
роятности на основе соотношений (2.21), (2.22).
Р е ш е н и е . Система алгебраических уравнений, определяемая
матричным уравнением (2.21) и условием (2.22), в данном слу­
чае имеет вид
cti+ 02+ аз= 1;
0,5 ai + 0,5 02+ 0,25ct3 = Ojj
0,25а 1+ 0,25аз =
0,25ai + 0,5 аг+0,5 а з= а 3.
Единственное решение этой системы есть ai = 0,4; 02=0,2; аз = 0,4,
т. е. вектор а={0,4; 0,2; 0,4] определяет финальное распределение
для рассматриваемой цепи.
Достаточным условием цикличности эргодической цепи Марко­
ва является представимость ее матрицы вероятностей переходов
в виде
О
R = (2.23)
С
где 0 — квадратные нулевые подматрицы.
В этом случае эргодическая цепь содержит по крайней мере
два циклических класса состояний. Первый класс составляют со­
стояния, соответствующие матрице В, второй — состояния, соответ­
ствующие матрице С. Все четные степени матрицы R в этом слу­
чае дадут матрицу вида
Л 0]
Я 2* =
О d J ’

а все нечетные степени — матрицу вида (2.23). Система будет по

очереди переходить от состояний, соответствующих В, к состоя­
27
ниям, соответствующим С, и обратно. Значит, последовательность
/? " (# -* оо) не может сходиться к предельной матрице А, т. е.
п. 1 теоремы 2.1 не выполняется. В этбм и состоит основное раз­
личие между циклическими и регулярными цепями. Вместе с тем
для циклических цепей, так же как и для регулярных, существует
единственный вероятностный вектор, удовлетворяющий (2.21),
(2.22) и определяющий финальное распределение цепи.
Как и в случае поглощающих цепей, для эргодических цепей
важную роль играет фундаментальная матрица.
О п р е д е л е н и е . Матрица
(./? — Д)]-1 (2.24)
называется фундаментальной матрицей эргодической цепи, опре­
деляемой марковской матрицей R.
Здесь / — единичная матрица;
А — квадратная матрица, все строки которой представляют
вектор а.
Фундаментальная матрица (2.24) является тем основным сред­
ством, с помощью которого вычисляется большинство интересных
характеристик, описывающих поведение системы, формализуемой
в виде эргодической марковской цепи.
Обозначим:
/ * — функция, равная числу шагов, за которые цепь впер­
вые попадет из начального состояния в состояние х к;
Mi \fk\ — математическое ожидание fk при условии, что процесс
начался из состояния х{\
М — матрица средних времен первого достижения состоя­
ний цепи, т. е. матрица с элементами тц = Mi [/)].
Тогда для М имеет место соотношение
M = ( I - Z + E Z dg)D,~ (2.25)
где Е — матрица, все элементы которой равны 1, а размерность
совпадает с размерностью матрицы Z;
Zdg— матрица, получаемая из Z заменой всех элементов, не
лежащих на главной диагонали нулями;
D — диагональная матрица с диагональными элементами
du = “ , *= 1, п; 0| —t-тый компонент вектора финально­
го распределения.
Обозначим через Ala= ( Д (/<)} матрицу дисперсий времен
iipptmro достижения. Тогда имеет место равенство [8]
Mt - М (2ZdgD - 1) + 2 (ZM - Е (ZM)dg) - Msq, (2.26)
in»* Afw/ - матрица, получаемая из М возведением в квадрат
се членов;
ZMdg — матрица, получаемая из (ZM) заменой всех эле­
ментов, не лежащих на главной диагонали нулями.
28
 Пример 2.7. В условиях примера 2.5 построить матрицу сред­
них времен достижения (М) и матрицу дисперсий времен первого
достижения (М2) состояний цепи.
Решение:
а) фундаментальная матрица цепи имеет вид
г=[/-(/?-Л )}-' =
0,5 0,25
0,5 0
0,25 0,25
—0,05 0,15
1,2 —0,1
—0,05 0,9
б) матрица средних времен достижения состояний цепи опре­
деляется соотношением (2.21):
1,147 0,040 —0,187
М — (/ — Z+ EZ dg)D 0,080 0,840 0,080 +
- ( К ! ; Н .0,187 0,040 1,147
Г1 1 11 Г 1,147 0 0 '2,5 0 0
+ 1 1 1 ь 0,840 0 5 0
Li 1 i J 1.0 0 1,147 0 2,5 J
Г2,5 4 3,3'
= 2,7 5 2,7
1.3,3 4 2,5.
в) матрица дисперсий средних времен достижения состоянии
цепи определяется соотношением (2.22).
Вычислим матрицу ZM, имеем
' 1,147 0,040 —0,1871 Г2,5 4 3,3'
ZM = 0,080 0,840 0,080 2,7 5 2,7
. —0,187 0,040 1,147 J 1.3,3 4 2,5.
4.040 3,466 '
4,840 2,707
4.040 2,347.
6,25 16 10,89
Msq 7,29 25 7,29
[ 10,89 16 6,25.
29
 Подставив эти значения в формулу (2.2), получим
О О '
М 2= 5 О
О 2,5.
3,466'
2,707
2,347.
6,25 16 10,89'
7,29 25 7,29
10,89 16 6.25J
‘5,58 12 6,89
6,22 12 6,22
.6,89 12 5,58

2.5. Цепи общего вида

В данном пункте мы рассмотрим вопрос исследования боевых
процессов, формализуемых в виде дискретных марковских цепей
общего вида.
Чтобы распространить методы исследования предельных харак­
теристик для поглощающих и эргодических цепей на цепи общего
вида, достаточно, как показано в п. 2.2, распространить эти мето­
ды на неразложимые цепи.
Неразложимая цепь общего вида содержит некоторое множе­
ство 5i невозвратных состояний и одно или несколько эргодиче­
ских множеств S jy /= 2 , 3, 4, . . ., k.
Для определенности положим, что необходимо исследовать не­
разложимую марковскую цепь общего вида с пространством со­
стояний У'={х1, х2, . . ., х п) и матрицей вероятностей переходов
# = 1 \ / ‘ = Г Г п .

Пусть данная цепь содержит k — 1 эргодических множеств

*^2 I *^11 • • • » Х а | , *Sз {Ха • • • » Xf r | , . . • у S /h

= { x c+u . . . . x r- i \
и множество невозвратных состояний
-Si = {*r. *r+if •••> х п)- (2.27)
Начальное распределение вероятностей состояний для этой
поим задается вектором

Я(0) « 1р ,(0) . л ( 0), . . р„(0)].

30
Примером такой цепи может служить цепь, граф состояний и Maf-
рица вероятностей переходов которой изображены на рис. 2.8.
Цепь на рис. 2.8 содержит множество S, = {хв, х7} невозврат­
ных состояний и два эргодических множества
Sj { х 7 }* 5 3 | ... | }.

Другим примером является цепь рис. 2.2. Эта цепь содержит

множество S i= { x 4| невозвратных состояний и одно эргодическое
множество S2= [х ь х2, х3}.

(*,) (*2) (*Л та та та

та 1 0 0 0 0 0 0

та 0 0 0 0 1 0 0

Л=(*э) 0 0,5 0,25 0,25 0 0 0

та 0 0 0 0 1 0 0

(® 5 )
0 0 0,5 0 0,5 0 0

0 0 0,5 0 0 0,25 0,25

0 *в >

iX?) 0,5 0 0 0 0 0,5 0

Рис. 2.8

Исследование боевых процессов, формализуемых в виде нераз­

ложимых цепей общего вида, включает их исследование до попа­
дания представляющей точки цепи в одно из эргодических мно­
жеств и их исследование после достижения какого-либо эргодиче-
ского множества.
Основными задачами исследования поведения цепи до момента
выхода представляющей точки в одно из эргодических множеств
является решение следующих вопросов:
1. Какова вероятность попасть в данное эргодическое множе­
ство S t (j = 2, k), если процесс начался из некоторого невозврат­
ного состояния Xi £ S|?
2. Каковы математическое ожидание и дисперсия числа ша­
гов, после которых представляющая точка покидает множество
Si невозвратных состояний, если процесс начался из некоторого со­
стояния x t £ S|?
3. Каковы математическое ожидание и дисперсия времени, про­
водимых процессом в некотором невозвратном состоянии xf
до момента достижения представляющей точкой одного из эргоди-
31
ческих множеств (при условии, что процесс начался из состояния
*/€ Si)?
4. Каково математическое ожидание числа невозвратных со­
стояний, в которых побывает представляющая точка процесса, на­
чавшегося из состояния Xi£ S u до момента перехода в одно нз
эргодических множеств?
Для решения этих вопросов структура эргодических множеств
исследуемой цепи несущественна. Поэтому все эргодические мно­
жества могут быть заменены поглощающими состояниями и тем
самым цепь общего вида сводится к эквивалентной поглощающей
цепи, которая содержит всю необходимую информацию для полу­
чения ответов на сформулированные вопросы.
Пространство состояний эквивалентной поглощающей цепи
имеет вид
К9 { • • •» х?+\% . • •* х п |
(у„ . . . . у*-1, У*......... У*+1. Уь+п-г) (2.28)
Матрица вероятностей переходов для этой цепи принимает вид

(У1) (Уа) • • • (Ук-1) (У*) • • • (Ук+п—г)

(S.) (У0 1 0 . .. 0 0 .. ... 0
(S.) (у,) 0 1 . .. 0 0 .. ... 0

Яэ= (S*)(y*_i) 0 0 . .. 1 0 .. ... 0

(•) ( Ук ) .. 2 R* R r r ■• • R m
xl e s k

(* п ) (Ук + n -r ) j 2 . 2 Rm R n r ■• ■ Rnn
*«-es3 x t e sk

Начальное распределение вероятностей состояний для эквива­

лентной поглощающей цепи задается вектором

/ \ ( 0) = Г 2 л ( 0), 2 /м о ), м о ) , . . . . м о Л . (2.зо)
[jr,es2 xiesk J
Для цепи рис. 2.8 эквивалентная поглощающая цепь изобра­
жен;! на рис. 2.9. К исследованию полученной таким образом экви­
валентной поглощающей цепи применимы все результаты, приве­
денные и и. 2.3.
 Важным вопросом, связанным с использованием боевых про­
цессов, формализуемых в виде дискретных цепей общего вида,
является определение финальных вероятностей.
Для конечных марковских цепей имеет место следующая тео­
рема [8].

Г(У,КУг) 1 СУз) (УлП

СУ,) 1 0 1 0 0
|
(У*) 0 1 11 0 0
1
СУз) 0 0,5 1 0,25 0,25
1 0,5
СУ4) 0,5 0 0

Рис. 2.9

Теорема 2.2. В любой конечной цепи Маркова независимо от

того, из какого состояния начался процесс, вероятность после т
шагов оказаться в одном из эргодических состояний стремится к 1
при m — оо.
Из теоремы 2.2 непосредственно следует, что финальные вероят­
ности для всех невозвратных состояний цепи равны нулю. Поэтому
определение финальных вероятностей сводится к определению ве­
роятностей достижения каждого из эргодических множеств
и последующему исследованию поведения цепи после вы­
хода представляющей точки из множества 5, невозвратных
состояний. Покинув множество невозвратных состояний, представ­
ляющая точка попадает в одно из эргодических множеств и уже
не может из него выйти. Поэтому исследование поведения цепи
после достижения представляющей точкой каждого из эргодиче­
ских множеств может осуществляться независимо от остальных
состояний цепи, не принадлежащих данному множеству.
Из теоремы 2.2 и соотношения (2.15) следует, что матрица ус­
ловных финальных вероятностей поглощающей цепи Маркова
имеет вид
k —\ п — г

С= I 0 k —1 (2.31)
1L B 0 П — Г

где / — единичная матрица размерности (k — I) X (k — 1);

О— нулевые матрицы;
В — матрица, определяемая соотношением (2.15) для эквива­
лентной поглощающей цепи.
3 З а к . 559 33
 Элементы c i} матрицы С представляют собой финальные веро­
ятности нахождения цепи в состоянии у ^, если процесс начался
из состояния У{.
Безусловные финальные вероятности поглощающей цепи, экви­
валентной рассматриваемой марковской цепи общего вида, опре­
деляются соотношением
D = { d l \ = P , ( 0 ) C y i= 1, k + n — r — 1.
Первые ft — 1 из элементов матрицы строки D определяют вероят­
ности достижения представляющей точкой процесса соответствую­
щих эргодических множеств S j , / = 2, ft, а остальные элементы рав­
ны нулю.
Условные финальные распределения вероятностей состояний
для каждого отдельного эргодического множества SJy / = 2, ft рас­
сматриваемой цепи определяются соотношением (2.21). Обозна­
чим их соответственно aj/) (/ = 2, ft). Тогда безусловные финальные
вероятности а (у) для каждого из эргодических множеств находятся
из соотношения
а(У) = at/)rfy_p J = 2Tk. (2.32)
Так как финальные вероятности для невозвратных состояний рав­
ны нулю, то безусловные финальные вероятности (2.32) для эрго­
дических множеств цепи полностью определяют финальные веро­
ятности состояний рассматриваемой дискретной марковской цепи.
Таким образом, методы исследования предельных характери­
стик для поглощающих и эргодических цепей, изложенные в п. 2.3,
2.4, могут быть применены для исследования дискретных марков­
ских цепей общего вида.
Пример 2.8. Завершить решение примера 2.3 при р = 0,5.
Р е ш е н и е . Математическое ожидание числа самолетов в
эскадрилье при t-+ оо

где ft — количество самолетов в эскадрилье;

P k— финальная вероятность того, что в эскадрилье имеется
ровно ft самолетов.
Из графа состояний системы (рис. 2.2) следует, что состояние
х4, соответствующее наличию в эскадрилье ровно четырех самоле­
тов, является несущественным. Поэтому в соответствии с теоремой
(2.2) р4= 0. Состояния х и х2, х3 образуют единственное для данной
системы эргодическое множество. Следовательно, представляющая
точка системы при t-+* оо с вероятностью 1 попадает в это множе­
ство.
34
 Финальные вероятности pi, р2, рз состояний х и х2, х3 удовлет­
воряют системе алгебраических уравнений (2.21), (2.22), которая
в данном случае принимает вид
Pi + р 2+ Р з= 1;
Рг=р1+Рз* 3(р2^ );
Рз=Р2+Рз(Зр<72+ р 3);
р!= Р 3Рз.
Решение этой системы имеет вид
рз _ р» + 3р2д _ 1
Pl ~ 1 + 3p*q + 2рз >Рг— 1 + 3p*q + 2рз ’ Рз ~ 1 + 3p*q + Чрз *

Подставив значения финальных вероятностей в выражение для М,

получим искомое математическое ожидание числа самолетов в
эскадрилье:
/>п о Р3+ 1
М = 1 + Ърц + 2рз 1 + 3/1*? + 2/*> + 3 1 -(- 3/>2? + 2рз
+ 4 -0 ;

при р = 0,5, <7= 1 — р = 1 — 0,5=0,5 получим М= 1,62.

3*
 III. ПРИМЕНЕНИЕ НЕПРЕРЫВНЫХ ЦЕПЕЙ МАРКОВА
К МОДЕЛИРОВАНИЮ БОЕВЫХ ДЕЙСТВИЙ
3.1. Структура и основные характеристики непрерывных цепей

Так же как и в случае дискретных цепей, при применении тео­

рии непрерывных цепей к моделированию боевых действий моде­
лируемый боевой процесс рассматривается как некоторая система,
которая в каждый момент времени t £ [О, Т] может находиться
в одном и только в одном из п возможных состояний, принадлежа­
щих некоторому дискретному (счетному или конечному) множе­
ству Y = \ x 1, *2, . . ., х п\. Однако, в отличие от дискретных цепей,
переходы из состояния в состояние осуществляются скачком в лю­
бые заранее неизвестные моменты времени. При этом вероятность
нахождения системы в любом состоянии x t £ Y в момент времени
г > / зависит только от состояния, в котором находилась система
в момент /, и не зависит от того, каким образом система перешла
в это состояние и сколько времени уже находилась в нем, т. е. вы­
полняется соотношение ( 1.2).
На практике ситуации, когда переходы системы из состояния в
состояние осуществляются не в фиксированные, а в случайные мо­
менты времени, встречаются очень часто. Например, такая ситуа­
ция возникает при контрбатарейной борьбе. Если под состоянием
системы понимается количество непораженных орудий каждой из
противоборствующих сторон, то переходы системы в различные
состояния осуществляются в случайные моменты времени, так как
нельзя заранее предсказать момент поражения того или иного ору­
дия. Аналогичная ситуация возникает при моделировании боя про­
тивотанковых средств с танками, при моделировании процессов
подавления огневых средств противника и в ряде других случаев.
При моделировании боевых процессов в виде непрерывных це­
пей Маркова можно выделить два формальных аспекта проблемы:
с одной стороны, множество состояний системы и возможных пере­
ходов между ними образует случайную цепь, которую, как и в
случае дискретных цепей, удобно представлять в виде ориентиро-
36
ванного графа, и с другой стороны, те значения t £ [О, Г], в кото­
рых происходят какие-либо изменения состояний системы, обра­
зуют так называемый точечный случайный процесс (в теории мас­
сового обслуживания этот процесс обычно называют потоком одно­
родных событий).
Процесс функционирования системы в данном случае можно
рассматривать как случайное блуждание представляющей точки
по графу состояний, которое возникает вследствие воздействия на
систему случайных потоков событий.
Поток событий представляет собой последовательность одно­
родных событий, следующих одно за другим в случайные моменты
времени (например, поток сообщений об объектах противника, по­
ступающих от разведывательных органов, поток выстрелов огне­
вых средств, поток отказов технических систем и т. п.).
Потоки событий являются важнейшей характеристикой систе­
мы. Их характер определяет характер случайных процессов, проте­
кающих в системе.
Поток событий называется пуассоновским, если число событий,
попадающих на любой участок (Ль t0+At) £ [О, Г], распределено
по закону Пуассона, т. е.
(3.1)
где p ( k ) — вероятность попадания ровно k событий на участок
(А)» А)+Д0;
а — среднее число событий, приходящихся на участок
(Ль Л)+Л'0»
!<,-I
а = J Л (/) Л ; (3.2)

X(t) — интенсивность потока событий (среднее число событий

в единицу времени).
Основными свойствами пуассоновского потока являются орди­
нарность и отсутствие последействия.
Ординарность потока означает практическую невозможность
появления более одного события на достаточно малом отрезке вре­
мени (/о, Л>+Д0-
Отсутствие последействия означает, что события появляются в
потоке независимо друг от друга, т. е. вероятность появления
определенного числа событий на некотором промежутке времени
(Аь to+At) не зависит от того, сколько событий произошло рань­
ше (т. е. не зависит от предыстории изучаемого потока).
Очень часто при моделировании боевых процессов рассматри­
ваются пуассоновские потоки событий, у которых К(t)=X — const.
Это свойство потока называется стационарностью. Для стационар­
ного пуассоновского потока выражение (3.2) примет вид
а= Ш . ( 3.3)
37
 Пуассоновский поток, обладающий свойством стационарности,
называют простейшим. Название «простейший» обусловлено тем,
что математическое описание событий, связанных с этим потоком,
оказывается наиболее простым.
Непрерывные цепи Маркова тесно связаны с пуассоновскими
потоками событий. Для этих цепей имеет место следующая тео­
рема.
Теорема 3.1. Для того чтобы процесс в системе с дискретным
множеством состояний был марковским, необходимо (в случае
ординарных потоков и достаточно), чтобы все потоки, пере­
водящие систему из состояния в состояние, были пуассонов­
скими.
Следует отметить, что пуассоновские и близкие к ним по струк­
туре потоки событий встречаются на практике наиболее часто. Как
показали А. Я. Хинчин и А. Реньи, пуассоновские потоки являются
предельными как в случае суммирования, так и в случае случай­
ного разрежения потоков. Эти результаты являются важными пре­
дельными теоремами и объясняют причину того, что пуассоновские
потоки столь часто встречаются в реальных системах. Например,
одно из первых упоминаний пуассоновского процесса относится к
исследованиям Фрая [9], который показал, что пуассоновский про­
цесс хорошо описывает число солдат в армии, убитых копытами
своих коней.
Тот факт, что при моделировании боевых процессов, как пра­
вило, имеет место суммирование потоков (например, при ведении
беглого огня артиллерийской батареей суммируются потоки выст­
релов, производимых каждым орудием) и их случайное разреже­
ние (например, не каждый из выстрелов достигает цели, и тем са­
мым поток успешных выстрелов батареи оказывается разрежен­
ным по отношению к их общему потоку), позволяет предполо­
жить, что пуассоновские потоки достаточно точно аппроксимируют
реальные потоки в боевых процессах и, как следует из теоремы 3.1,
описание различных боевых процессов непрерывными цепями Мар­
кова является достаточно точным. По крайней мере, такое описа­
ние соответствует точности исходной информации.
Основная задача исследования непрерывных цепей Маркова со­
стоит в определении вероятностей pt {t) = Р \X(t) = X i \ состояний
системы для любого момента времени t или в определении услов­
ных вероятностей /?*у, /, / = 1, п того, что случайная функция X(t)
в момент т > Нравна X j £ Y , если в момент t она была равна х { £ У,
т. е.
/?//(^,х) = />[X(х) = |А ’(0 = .х,], 1,«. (3.4)

Функция R,j, i, j= 1, п называется вероятностью перехода из

состояния в состояние хj. Непосредственно из определения сле­
дует, что при x=t
 при i Ф ]\
*</ (3.5)
при i -- J.
Для непрерывных марковских цепей при любых t и т выполня­
ются равенства

£ * (* )-!; (3.6)

£ /? (/, г) = 1, *•= \71Г. (3.7)

У-1
Физически равенство (3.6) означает, что в каждый момент вре­
мени t система может находиться в одном и только одном из воз­
можных состояний.
Равенство (3.7) означает, что на любом отрезке времени
[/, т] С [О» Л система с вероятностью 1 либо изменяет свое состоя­
ние, либо остается в прежнем состоянии.
Следует отметить, что условие (3.7) может нарушаться, если
случайный процесс X(t) за ограниченное время может принять
бесконечное число возможных значений, т. е. возможен своего
рода взрыв, что имеет место, например, при цепной реакции. В
этом случае [10]

т )< 1 .
У-1
Цепи такого типа называются нерегулярными. Однако нерегу­
лярные цепи практически не встречаются при моделировании бое­
вых процессов, и поэтому в данном пособии мы их рассматривать
не будем.
Определим связь между вероятностями переходов /?,у (/, т) при
различных значениях аргументов. Для этого воспользуемся фор­
мулой полной вероятности
P ( A ) = £ p ( H k) P ( A jH k). (3.8)
1
Пусть событие А в (3.8) означает, что в момент времени т слу­
чайный процесс X(t)=Xj, если в момент t выполнялось равенство
X ( t ) = x l. Тогда
P { A ) = R t j {t, т).
Пусть гипотеза Нк заключается в том, что в момент времени
t'(t<t'<x) случайный процесс X(t) принимает значение х к, если
X ( t ) = x t. Тогда
P ( H k) = R ik(t, t% a P( AI H k) = R kj(t', х).
31)
Подставив эти значения в (3.8), получим равенство

Rii (t, т) = t Ri* (t, t') R ki (t \ t), i, j = U (3.9)

*- 1
Соотношение (3.9) называется уравнением Колмогорова—Чепме­
на—Смолуховского и является аналогом уравнения (2.6).
Если известны вероятности pi (/q)> i= К п того, что в начальный
момент времени t = t0 система находится в состояниях x h i= 1, /г,
то для безусловных (абсолютных) вероятностей р ;. (/) =P[X(t) =
= *,] в соответствии с (3.8) получается соотношение

Pi (t) = t p , (tu) R., (t0, t), J = TTn. (3.10)

i -1
Непрерывная марковская цепь называется однородной, если ве­
роятности переходов Ri, (t, х) зависят от t и т как от разности,
т. е. если
Rii (t , т) = R tj (т — t), x> t, i , j = 1, a.
В этом случае условные вероятности ((, т) зависят только от
одного аргумента и поэтому вместо Rti (t, т) при х~^ t можно пи­
сать R,/ (t) при / ^ 0. Уравнение Колмогорова—Чепмена—Смо­
луховского (3.9) для однородного процесса принимает вид

R ,i W = i R A V R u i ' - t ) , x > t , i, (з.П )

k =1
Выражение (3.10) в этом случае можно записать в виде

Pi (t) = i Pi (0) R 4 (t), j = h H . (3.12)

i =1
Для однородности непрерывной марковской цепи необходимо и
достаточно, чтобы все потоки событий, переводящие систему из со­
стояния в состояние, были простейшими.
Таким образом, мы рассмотрели структуру и основные харак­
теристики непрерывных цепей Маркова. Далее подробно остано­
вимся на вопросе вычисления основных характеристик этих про­
цессов.
3.2. Дифференциальные уравнения Колмогорова
Вероятности *=U п состояний системы в любой момент
времени t и условные вероятности /?<; (/, т) перехода для непре­
рывных цепей Маркова обычно вычисляются как решения соот­
ветствующих систем обыкновенных дифференциальных уравне­
ний, которые впервые были получены академиком А. Н. Колмого­
ровым в 1938 г, в его фундаментальной работе [11], заложившей
40
основы теории непрерывных цепей, и поэтому называются его име­
нем.
Рассмотрим непрерывную марковскую цепь, описывающую по­
ведение системы с п состояниями х ,£ У. Будем полагать, что по­
токи событий в системе ординарны, т. е. за достаточно малое вре­
мя At — >■0 не может быть более одной смены состояний. Тогда
R u ( t § t+At) является вероятностью того, что в промежутке вре­
мени [i/, /+'Д/] система не изменит состояния .v4, в котором она
находилась в момент /, а разность 1 — /?/,(/, t+At), в соответст­
вии с (3.7) означает вероятность того, что на этом промежутке
произойдет смена состояния jc,-.
Так как в соответствии с (3.5)
Ru(t, 0 = 1. а Rn(t> 0 = о. i+j,
то
1 - R,i(t , t + ДО = Ru (t, t) - R u (t, t + Л0, i = 1. n;
Rij ( t , t + At) = R„ (t, t + A t ) - Rif (t , 0 . j, 0 J = ГГя.
Положим, что существуют конечные пределы
* /м 1 - Ли (/. / + ДО _ Ru ('. О - Ru (t, t + ДО
l( ) ~ 1Яо Д* “
dRn jt, т)
дг i = 1, п. (3.13)
Лу(/. / + Д0 Rij(l,t+ ДО- Л,у(/. О
О/ (0 = П т д t Д<
А/->0
d*V</. х)
&z i+ j, l ,j = l ,n . (3.14)
Функция А,/ (0 является временной плотностью вероятности
того, что в момент i система 'не изменит свое состояние x t, а функ­
ция Xij-(t), i ¥=j является временной плотностью вероятности пере­
хода системы в момент времени t из состояния х, в состояние Xj.
Из (3.13), (3.14) с учетом (3.7) следует, что

М 0 = £+ (t), 1 = 1, П. (3.15)
j~ i
Чтобы получить систему дифференциальных уравнений относи­
тельно вероятностей перехода цепи Ri,(to, t), i, / —1, п, восполь­
зуемся уравнением Колмогорова—Чепмена—Смолуховского (3.9).
Заменив в этом соотношении t на /0. t' на / и т на tf+Af, получим

R tJ(t0, t + At) = 2 Rpt (t0, t) Rkj (t, t +Д*), i, j — \, n.

k =\
41
Полагая At = 0, получим

Я,,(*о. *) = £ R lk(t0, t ) R kj(t, t), i, / = й Г

ft —1

откуда

RU (f0, t + b t ) - Ry Vo, t) VI f Rkj V, t + ДО 1

Д/ ---- = Zj K‘kVb' l)L- - - - It- - - J
n ,* « Г 1—BjjV’ ' + Л/) 1 . . 5------
Rliito, 0 [ -------- й ---------J. ' . / = ! . « •

Переходя в этом равенстве к пределу при Д/-*-0 с учетом (3.13),

(3.14), получим
П П
dRu (/о. О Vi VI ___
— at ■■= - 2 j hk (t) Rtj (to, t) f 2 j S- R i* (to, t), i, j = 1, n.
ft-1 ft-1
ft Фj k±j
(3.16)
Система (3.16) называется прямой системой дифференциальных
уравнений Колмогорова для вероятностей перехода.
При фиксированном значении первого индекса i у функций
Rij(t0j 0» *= 1» п система (3.16) образует систему п обыкновенных
дифференциальных уравнений относительно п искомых функций
Rij{tо, 0» /= 1 . п- Начальные значения искомых функций опреде­
ляются равенствами (3.5).
Составим теперь систему дифференциальных уравнений для аб­
солютных вероятностей pj(t) состояний системы. Для этого вос­
пользуемся соотношением (3.10). Заменив в (3.10) на a t на
( + Л получим

P j ( t + M ) = t p i (t) Rij (t, t -[- д о . i = ~г.

i- l

Полагая Д/ = 0, получим
л
Pj (t) = Я Pi (t) Rij (t, t ), /= 1 , n.
I =1
Тогда
Pj (t + M)-pj (t) Vi RU (/, / + ДО - Rij (f, О . =----
-------- ДГ - t — = 2 j Pi(t)------------ It------------ > ! = { ' n■
i- l
42
Переходя в этом выражении к пределу при At-*-0 с учетом (3.13),
(3.14), получим
П

I- 1
**У
откуда с учетом (3.15) имеем
п п
dp A t ) \л ____________

~ЧГ= 2 j ^ x< / ( 0 - 2 j V M 0 , /=!.«• (3.17)

/-1 i-1
*j=j i Фj
Система (3.17) называется прямой системой обыкновенных диф­
ференциальных уравнений Колмогорова для абсолютных вероят­
ностей состояний. Эта система совместно с начальными условиями
/?У (/0), / = 1, п и нормирующим условием (3.6) позволяет опреде­
лить абсолютные вероятности /= 1, п состояний системы
Xj£ Y в любой момент времени t ^ до­
запись прямых систем дифференциальных уравнений Колмого­
рова для вероятностей перехода и вероятностей состояний соответ­
ственно в форме (3.16) и (3.17) позволяет сформулировать прак­
тически удобные правила построения этих уравнений по размечен­
ному графу состояний.
Размеченный граф состояний для непрерывной цепи Маркова
представляет собой ориентированный граф, вершины которого со­
ответствуют состояниям системы, а дуги — возможным переходам
из состояния в состояние, при этом «вес» каждой дуги (*, /) равен
соответствующей временной плотности вероятности Ху (/) перехо­
да из состояния X t £ Y в состояние X j £ Y , /. Сформулируем
правила построения прямых систем дифференциальных уравнений
Колмогорова по размеченному графу состояний непрерывной цепи
Маркова.
Правило 3.1. Производная по времени от вероятности
Ry (*о. 0 » /= 1» п пребывания системы в момент времени I в со­
стоянии Xj£ Y при условии, что в момент времени t0 эта система
находилась в состоянии x t £ К, равна алгебраической сумме произ­
ведений временных плотностей вероятности переходов на соответ­
ствующие вероятности пребывания системы в тех состояниях (вер­
шинах графа), откуда совершается непосредственный переход в
другие состояния. Слагаемые, которым соответствуют выходящие
из /-той вершины дуги графа, берутся со знаком минус, а слагае­
мые, которым соответствуют входящие из других вершин в верши­
ну / дуги, берутся со знаком плюс. Общее число слагаемых в пер­
вой части уравнения для /у(^о, 0 равно общему числу входящих
и выходящих дуг для /-той вершины размеченного графа состоя­
ний системы.
43
 Правило 3.2. Производная по времени от абсолютной вероят­
ности Р /(0 > / = 1, п пребывания системы в состоянии хj в момент
времени t равна алгебраической сумме числа членов, равного ко­
личеству дуг, связанных с /-той вершиной размеченного графа со­
стояний цепи. Каждый из этих членов равен произведению времен­
ной плотности вероятности перехода, соответствующей данной
дуге, на абсолютную вероятность нахождения системы в момент
времени t в состоянии, из которого рассматриваемая дуга исходит.
Если дуга входит в /-тую вершину графа состояний цепи, то член
берется со знаком плюс, а если дуга выходит из /-той вершины,
то член берется со знаком минус.
Правила 3.1 и 3.2 были впервые сформулированы Е. С. Вент-
цель [6], [14]. Они являются общими для всех непрерывных цепей
Маркова и позволяют чисто механически записывать прямые диф­
ференциальные уравнения Колмогорова для вероятностей перехо­
дов и абсолютных вероятностей состояний непосредственно по раз­
меченному графу.
Пример 3.1. Артиллерийский дивизион в ходе боевых действий
может находиться в одном из сле­
дующих состояний:
Х \ — находится на огневой по­
зиции в готовности к от­
крытию огня;
х2 — ведет огонь;
х3 — свертывается для переме­
щения в новый позицион­
ный район;
хА— перемещается в новый
позиционный район;
д'з — развертывается в новом
позиционном районе.
Записать систему дифференци­
альных уравнений Колмогорова
для абсолютных вероятностей со­
стояний и начальные условия для
решения этой системы, если из­
вестно, что в начальный момент
дивизион находится в состоянии
Х|, а возможные переходы из со­
стояния в состояние и их временные плотности заданы размечен­
ным графом рис. 3.1.
Р е ш е н и е . Система уравнений Колмогорова для абсолютных
вероятностей состояний в соответствии с правилом 3.2 имеет вид

— ^ ——Л12Р1+Л21Р2+ Л51Р5—

‘ ^ =Ai2Pl — (^21 + ^2з)Р2;

И
 —k\zp\ + X2bP2 — ^34Рз1
dp АО
dt = Л-34РЗ — Л,45Р4*,
dp А О
dt = ^45P4 — ^5lPl-

Начальные условия при t = 0 pi = 1; р2= Р з= Р 4= Р 5= 0.

Пример 3.2. Через зону обстрела зенитного комплекса прохо­
дит группа из двух самолетов. Зенитный комплекс тратит на об­
стрел одного самолета в среднем Т = 60 с и при этом наносит ему
поражение с вероятностью (7= 0,5.
Требуется определить математическое ожидание числа само­
летов, преодолевших эту зону, если они входят в зону обстрела
одновременно и находятся в ней 3 мин.
Р е ш е н и е . Под состоянием системы будем понимать количе­
ство самолетов, успешно преодолевших зону обстрела зенитного
комплекса. Тогда граф состоя­
ний системы имеет вид, как на
рис. 3.2.
Х\ — два самолета преодо­
лели зону обстрела;
х2 — зону обстрела преодо­
лел один самолет;
х3 — все самолеты пораже­
ны зенитным комплек­
сом.
Математическое ожидание Af(/) числа самолетов, успешно
преодолевших зону обстрела, определяется формулой

М(1)=2р1(0>+1р2( 0 + 0 - Р з ( 0 ,

где Pi(t), Р2('0» Р Л О — вероятности нахождения системы в соот­

ветствующих состояниях л'|, х2, *з в момент времени I.
Так как для зенитного комплекса известны только среднее вре­
мя обстрела и вероятность поражения каждой цели, то можно
предположить, что поток успешных выстрелов является пуассонов­
ским с интенсивностью ( 1/мин)
b = -Jr? = 1 . 0 e5 = 0,5.

Вследствие того, что поток событии, вызывающий переходы систе­

мы в различные состояния, является пуассоновским, протекающий
в системе процесс является марковским.
В соответствии с графом рис. 3.2 система дифференциальных
уравнений Колмогорова для вероятностей состояний имеет вид
45
 dpi
dt - xa ;
dpi _
dt
dps = lp2.
dt
Так как в начальный момент оба самолета не поражены, то
эту систему следует интегрировать с начальными условиями
Pi(0) = l; рг(0) =рз(0) =0. С учетом нормирующего условия
Pi(t) + Рг(/) + Р з(0 = 1 систему дифференциальных уравнений мож­
но записать в виде
dp, (О dPt (t)
dt - 4 > ii dt X(1 - P i ~ P a)-
В результате интегрирования этой системы получим
р,(3) «0,125; р2(3)~0,25; р,(3)-0,625,
откуда математическое ожидание числа самолетов, успешно прео­
долевших зону обстрела зенитного комплекса, будет
АЦ3) « 2 • 0,125 + 1 • 0,25 + 0 • 0,625 = 0,5.

3.3. Примеры моделей боевых процессов

Рассмотрим два примера боевых процессов, формализуемых в
виде непрерывных цепей Маркова.
Пространственно-временная модель боя. При моделировании
боевых действий часто возникает проблема учета их пространст­
венно-временной протяженности. В данном пункте мы рассмотрим
один из возможных подходов к построению таких моделей на ос­
нове аппарата непрерывных марковских цепей.
Имеем две противоборствующие стороны. В состав первой сто­
роны входит п подгрупп средств, имеющих численности
iV2, . . ., N n соответственно. В состав второй стороны входит т под­
групп средств, имеющих численности Мь М2, . . ., М т соответст­
венно. Средства, принадлежащие одной подгруппе, будем считать
однородными. Предположим, что к первых подгрупп обеих сто­
рон — средства ближнего боя, расположенные непосредственно в
окрестности линии боевого соприкосновения. Остальные п — k и
т — к подгрупп средств первой и второй сторон — поддерживаю­
щие и обеспечивающие средства.
Полосу, в которой действуют войска сторон, покроем сеткой
(рис. 3.3) с к полос по ширине (по числу действующих в ней под­
групп средств ближнего боя) и L (0<L ^ оо) рубежей по глуби­
не. Расстояние между рубежами примем равным некоторой вели­
чине </ (rf>0).
46
 Очевидно, что процесс перемещения линии боевого соприкосно­
вения неразрывно связан с перемещением средств ближнего боя,
действующих в ее окрестности.

Будем полагать, что каждая из k подгрупп средств ближнего

боя сторон перемещается только в результате взаимодействия с
противостоящей ей подгруппой средств и это перемещение не зави­
сит от перемещения других подгрупп. Это допущение принято
только с целью упрощения конечных соотношений и может быть
снято введением соответствующих дополнительных условий связи.

О 1 2 } L

Рис. 3.4
Процесс перемещения каждого из k участков линии боевого
соприкосновения будем рассматривать как ординарный марковский
процесс блужданий представляющей точки в одномерном дискрет­
ном пространстве состояний У={0, 1, 2, . . L}. Нахождению
/-того участка ( / = 1, k) линии боевого соприкосновения в состоя­
нии / в момент времени t соответствует равенство
* (/) (0 = /, / = 0, 1, 2, . . ., L.
Из ординарности процесса следует, что за достаточно малое
время 4 / из любого состояния / £ У практически возможен пере­
ход только в соседнее состояние /+ 1 или / — 1, т. е. граф состоя­
ний каждого из k участков имеет вид, как на рис. 3.4.
47
 Обозначим через iPP (>0, /= 1 , к, / = О, L временную плотность
вероятности перехода t-того участка линии боевого соприкоснове­
ния из состояния j в состояние /+ 1 , а через t = l , к, j = О, L —
временную плотность вероятности перехода из состояния / в со­
стояние / — 1. Тогда в соответствии с правилом 3.2 можно запи­
сать следующую систему дифференциальных уравнений Колмого­
рова для вероятностей i = l , k, / = О, L нахождения t'-того
участка линии боевого. соприкосновения в состоянии j в момент
времени t:

(О:

dpW (О
dt - —[ 4 * p r( \ t ) 4- >4-i(0/>r-i (0 +
(3.18)
+ |4'l i (<) р% i (t), Г = 1, L - 1;

= f x i ' i i - n z

Начальными условиями для системы (3.18) служат значения

Р<Р (to) у у= 0, Ly i = l t k искомых функций в начальный момент вре­
мени t='t0. Система уравнений (3.18) описывает процесс переме­
щения линии боевого соприкосновения во времени. Чтобы вос­
пользоваться моделью (3.18) для исследования конкретного боя,
необходимо идентифицировать функции Х{/ } (/) и рУЧО» *’= 1, к,
/ = 0, Ly которые характеризуют среднюю скорость перемещения
линии боевого соприкосновения в каждый момент времени:

).('> {t) = , i = l , k, j = 0, L ; (3.19)

,n W {P ( t ) ------ -------
° (t ) = - ^ - L , i = 1, к, j = 0. L, (3.20)

где — математические ожидания темпов наступ­

ления первой и второй сторон соответственно.
Величины V f \ t ) , W/l) (i), /=Т7*Г / = 0, L зависят от ряда фак­
торов, к которым в частности относятся:
количество и качество средств ближнего боя сторон в окрест­
ности каждого i-того участка линии боевого соприкосновения;
количество и качество поддерживающих средств;
характер построения обороны;
48
 инженерное обеспечение наступающих войск;
боеспособность и морально-боевой дух войск сторон и т. д.
Качество боевой техники вооружения может оцениваться эф­
фективностью стрельбы и маневренными возможностями на поле
боя. Эффективность стрельбы можно характеризовать дальностью
и эффективной скорострельностью при поражении тех или иных
целей в ходе боевых действий.
Маневренные возможности определяются временем разверты­
вания /раз, свертывания /св и скоростью перемещения Va. Характер
оборудования обороны влияет на эффективность огневого воздей­
ствия по обороняющимся войскам и затрудняет перемещение на­
ступающих войск. С учетом инженерного оборудования (и есте­
ственных препятствий) допустимая скорость передвижения войск
может определяться по формуле
Удоп= Km Vn, где 0 < Кш < 1.
Построение обороны можно характеризовать относительными
потерями наступающих за единицу времени:
dm (/) 1
dt т (О *

где m(t) — текущая численность или боевой потенциал наступаю­

щей группировки.
Боеспособность войск определяется потерями, понесенными
войсками с начала боевых действий Am(t).
Морально-боевой дух войск можно характеризовать максималь­
ным уровнем потерь q, который могут понести наступающие войс­
ка. При уровне потерь больше q войска переходят к обороне.
Таким образом, величины 1Л/}(/), W (/), £= 1, fe, / = О, L мож­
но представить как некоторые функции следующих аргументов:
dm\ l) 1
V ^ ( t ) = v p [ t ; /Син; V W ; dt q\l)\ Am in
’ (3.21)
dmn 1
W(ij ){t) = W)i)(t- *<;>; 1/п п ; dt mi ; q\b Am «■).
n
Определив конкретные зависимости (3.21) и входящие в них па­
раметры, мы тем самым замыкаем систему уравнений (3.18) для
перемещения линии боевого соприкосновения в процессе боя.
Модель динамики численностей боевых средств. Важнейшими
процессами, которые присущи боевым действиям, являются про­
цессы поражения боевых средств, органов управления войсками и
оружием, органов разведки, органов боевого обеспечения и т. п.,
а также процессы восстановления боеспособности этих элементов.
Ряд этих процессов может быть формализован в виде следую­
щей модели.
4 Зак. 559 49
 Имеем две противоборствующие группировки. Предположим,
что в состав первой группировки входит N статистически однород­
ных боевых средств, а в состав второй — М. На первый взгляд,
допущение об однородности может показаться достаточно жест­
ким. На самом деле это не так. При моделировании боевых дей­
ствий практически всегда можно выделить группы боевых средств,
которые ведут себя статистически одинаково. Это вовсе не озна­
чает, что все боевые средства группы ведут себя в точности оди­
наково, а лишь означает, что все они имеют одинаковый вероят­
ностный закон поведения. Примерами таких статистически одно­
родных групп могут служить артиллерийская батарея, танковая
рота, эскадрилья самолетов и т. п.
Пусть каждое боевое средство первой группировки производит
случайный пуассоновский поток выстрелов с параметром Л| и при
каждом выстреле с вероятностью Л| поражает одну боевую едини­
цу второй группировки. Вероятность поражения одним выстрелом
более одного боевого средства будем полагать бесконечно малой
0(л|). Тогда в соответствии с теоремой А. Реньи о разрежении
потока поток успешных выстрелов каждого боевого средства пер­
вой группировки будет пуассоновским с параметром Ai = Ai;ii.
Аналогично каждое боевое средство второй группировки осуще­
ствляет пуассоновский с параметром А2= Д 2Л2 поток успешных вы­
стрелов по боевым средствам первой группировки.
Допущение о пуассоновском характере потоков успешных вы­
стрелов каждого из боевых средств группировок также не являет­
ся слишком жестким.
Положим, что каждое пораженное боевое средство первой и
второй группировок восстанавливает боеспособность с интенсив­
ностью pi и р2 соответственно. Состояние боя в каждый момент
времени будем характеризовать двумя целыми положительными
числами а, b — текущими численностями непораженных боевых
средств группировок. Боевую мощь (средний поток успешных вы­
стрелов) первой и второй группировок в целом запишем в виде
<01=й,1<р(а, Ь) ; о)2=,Л ^(а, Ь), (3.22)

где ф(а, 6), ф(а, Ь) — некоторые функции, показывающие, как пер­

вая и вторая группировки проводят бой. Так, если <р(а, Ь) =
= ф (а, 6) = 1, то в каждый момент времени в бою участвует толь­
ко по одному боевому средству группировок и бой представляет
собой совокупность последовательных дуэлей.
Если ф(а, 6)= а , ф(а, Ь)=ЬУ то в бою участвуют все непора­
женные боевые средства группировок и их огонь распределен рав­
номерно по всем непораженным боевым средствам противника.
Это эквивалентно тому, что если какая-либо боевая единица одной
из группировок поражена, то огонь противника мгновенно пере­
носится на другую боевую единицу.
50
 Если q>(a, 6) = ^ - , г|т(а, 6) = ^-, то в каждый момент времени
в бою участвуют все наличные боевые средства сторон и их огонь
равномерно распределен по всем (пораженным и непораженным)
боевым средствам противника, т. е. отсутствует перенос огня.
Описанный процесс боя можно представить как блуждание
представляющей точки по графу состояний рис. 3.5, начинающееся
из точки (Ny М). Интенсивности переходов в сторону уменьшения
численностей боеспособных боевых средств первой и второй груп­
пировок определяются соотношениями (3.22), а интенсивности вос­
становления боеспособности равны соответственно
yi =yi(N — а) ; Y2= Y2(M — b). (3.23)
В соответствии с правилом 3.2 рассматриваемый процесс боя

Рис. 3.5
можно описать следующей системой дифференциальных уравне­
ний Колмогорова для абсолютных вероятностей состояний:
dp(Nd^ ' 1) = - [», (N, 7И) + Ш2 (N, M) \ p { N, М, t) +
+ 7.( l ) p ( W - l , М, t) + i 2( l ) p( N, М - 1, t);
dp^ (b' 0 = - k (N, b) + ш2 (N, b)] p (N, b, t) + (3-24)
+ b + \ )p( N, f t + l ) + T . ( M - f t - l ) X
X p ( N , b - \ J ) - ^ ( M - b ) p { N , b , t) +
+ 7i — 1, b> t), b = 1, M — 1;
•4* 51
 — 0 = - К (a ,M ) + 0 >2(a, М)\р{а, М, t) +
+ ‘“гСаЧ-1. М ) р ( а + 1, M , t ) - \ - ^ { N - a - \ ) p { a - \ , М , t ) -
— ^ ( N — a )p ( a, M , t ) + i . , ( \ ) p ( a , М -1 , t ) , a = ] f N — 1;

= - К (я- Ь) + <», (a, *)] P (a, 6, t) -

- +T 2 { M - b ) \ p { a , b, t) + Tft ( N — a — 1) X
X p ( a — 1, b, t) + ^2{М — b — \ )p(a, 6 — 1, t) +
+ o)j (a, 6 + l)/>(a, 6 + 1 , 0 + «>2( a + l , 6 ) p ( a + l , 6, /), (3.24)
a = 1, N — l, 6 = 1, M — 1;

dp(V — = - It. W + b ( M - b ) ] p (0, 6, t) +

+ ««2 ( 1, *)/> 0, 0 + т .( > и - ^ - 1 ) /» ( 0 , 6 - i , t),
6 = 1 , M - 1;

rfp (a,_°, 0 = _ lT[ {N _ a) + TA M ) , p (fl> 0) 0 +

+ wi(a , l)p (a . 1, t) + i i ( N — a — \ ) p ( a — \, 0, t),

a = 1, N — 1.

Начальные условия для интегрирования этой системы опреде­

ляются выражением
1 при a = Af, Ь = М;
р(а, &, 0) = (3.25)
0 в противном случае.
Система (3.24) с начальными условиями (3.25) позволяет опре­
делить вероятность любого состояния описанного процесса боя
двух однородных группировок в произвольный момент времени L

3.4. Интегралы уравнений Колмогорова

для некоторых типов непрерывных цепей
С формальной точки зрения модели боевых действий, описан­
ные в п. 3.3, представляют собой так называемые многомерные
марковские случайные процессы гибели и размножения. К про­
цессам такого типа сводится большинство моделей боевых дейст­
вий, формализуемых в виде непрерывных цепей Маркова. Поэто­
му представляется целесообразным определить аналитические ин­
тегралы уравнений Колмогорова для некоторых частных, но прак­
тически важных типов процессов гибели и размножения,
52
 Рассмотрим некоторую систему, состояние которой описывает­
ся «-мерным вектором
Х = (*1, *2, . . Хп) е S С Е,
где Е—л-мерное дискретное фазовое пространство;
S = { x t : ( 0 K x i < R i < °°), i = 1, п \ч т. е. 5 — некоторая область
пространства £, такая, что 0<СХ{ < /?/, /= 1, л.
Динамика системы заключается в изменении ее состояния с
течением времени t и представляет собой неоднородный марков­
ский случайный процесс с ординарными потоками событий. Собы­
тие, заключающееся в том, что в момент времени / система нахо­
дится в состоянии *= (*!, х2у . . ., х п) у обозначим *(/), а вероят­
ность этого события р(х, t ) = p ( x u . . ., х,и /). Обозначим также
[а, (х у t) = (х,, . . . , x t —- 1, . . . , х ПУ t) — интенсивности переходов
(•^1» • • • I Х[ 1, • • •) х п) — >(-Vj, . . . , л^, . . . , х п)у i 1, tt\
h (х, t) = \ (х 1у х ъ . . . , х { + 1, . . х ПУ t ) — интенсивности перехо­
дов (хи . . . . x t + 1, ...» х п) -> (хи . . x tt . . . , х п)% i = 1, л.
Тогда систему дифференциальных уравнений Колмогорова
(3.17) для абсолютных вероятностей состояний можно записать
в виде
d p ( x 1 , х 2....... x j ........ х п% t)
dt - р { х 1. x i' , Хп, t ) х

X [Ч (х, t) А (х,) + |i( (х, t) В (*,)| +

/- 1
П
+ 2 /> < * ,. •••. x t — 1, . . . . х п, t ) A { x t) +
i =1
п
+ 2 ^ * » ' •••• х ‘ + 1........ *»• *)*«(■*» t ) B (xi),
i- 1
Xj — 0, 1........ Rj, j — 1, n, (3.2G)
где
f 1 при xt> 0; . -----
A (xt) = Л i = l , n;
' u 10 при xt< 0,
1 при Xt < Rt\ .
B(Xt) = _ ^ n i = 1, n.
(0 при xt > Rt,
Начальные условия для интегрирования системы (3.2G) имею г
вид
1 при x i = ,xl0, i I, /I;
р ( х , 0 ) = p ( x lt xt, . . . . х п, 0) = 0 в противном случае.
С».'//)
па
 Интегрирование системы (3.26) с начальными условиями
(3.27) при достаточно большом количестве различных состояний
системы представляет большие трудности вследствие ее высокой
размерности. В ряде случаев эти трудности могут быть преодоле­
ны путем перехода от системы обыкновенных дифференциальных
уравнений для вероятностей отдельных состояний к уравнению в
частных производных для производящей функции вероятностей
этих состояний.
Производящая функция вероятностей состояний процесса
(3.26) имеет вид [15]
/?i Rn п
<р(*. г „ г „ . . . . z n) = <р(t, z ) — 2 ••• j П Z*,J X
.v,-0 Xn-Q j-Q
Х р (*1 ........ X, ........... x„, f). (3.28)

Умножив обе части уравнения (3.26) на соответствующие

п
|~] 2 р и просуммировав полученные таким образом равенства,
/-о
имеем

*р (*, г) Iр { х , t ) \ ( x , t) П г *>X
dt
/ = 1 jc. - O 7-1

X \ Z J 1В (*,) — А (л:,)] + Р (х, t) (J.,- (х, t) П г'У X

У-1
Х \ г , А ( Х1) - В ( х , ) \ \ . (3.29)

Подставляя конкретные функции (х, /), р 4(х, t) в уравнение

(3.29), его в ряде случаев можно свести к замкнутому виду.
Положим
\ (х, t) = \ ( t ) x t- I», (х, t) = 1xt (t) ХГ, в ( x t) = 1, i= 1

где %i (/), p/OO — некоторые функции времени (далее для сокра­

щения записи параметр t будем опускать). В этом случае уравне­
ние (3.30) принимает вид
п
Фр (*. г) (а.г, - /,) df((, г)
(3.30)
dt дгI

Это линейное дифференциальное уравнение с частными произвол

ными первого порядка.
54
 Начальным условием для (3.30) является значение искомой
производящей функции (р((, z) при 7=0. С учетом (3.27) имеем

?(0 , Y \ z jXJ0.
Z )= (3.31)
/-1
Задача Коши для (3.30) с начальным условием (3.31) форму­
лируется следующим образом. Требуется определить такое ре­
шение ф(/, z) уравнения (3.30), которое при / = 0 удовлетворяет
условию (3.31). Из теории дифференциальных уравнений в част­
ных производных известно, что для решения этой задачи необхо­
димо определить интегралы так называемых уравнений характе­
ристик [16], которые для (3.30) имеют вид
^dt= - ( г - 1 ) ( | t i Z i - K ) , i = l , n ;
(3.32)

Уравнения (3.32) проинтегрируем при следующих начальных

условиях:
z( t0) =ti = (t| i, г\2, • • ., ■>}„); ф(*о, л)=Фо; t0= 0. (3.33)
Решение последнего уравнения системы (3.32) имеет вид
Ф(t, z) =фо- Поэтому с учетом (3.31), (3.33) получим

ф(А 2) =ф (4п) = П rijJ\ (3.34)

7-1

При X/ Ф t = l , п первые п уравнений системы (3.32) можно пе­

реписать в виде
(X,- - Pi) dt - Н---- = 0, i = 1, п.
1 ---- -
н
Отсюда, полагая, что — const, в результате интегри­
рования получим
t
J 0-i — Ы dt - In (Zi - 1) -f In ^z,— = In £>,, i = 1, n,
0

или

-т т и у -в " = Д , i = 1, n, (3.35)

где D{ — произвольные постоянные.

55
 С учетом начальных условий (3.33) имеем
h
*]/ —
z r r = D h / = 1, а.

Разрешив эти выражения относительное, <= 1, п, получим

е = ( £ - - Д ) | ( 1 - Д ) , i =Т Г я.
Подставив в эти соотношения значения из (3.35), имеем

к (f4 —[(■»/—k ll4 ) i( * t —1)1 «р (к — (1/) df

т/( = Т , < = 1, Я.
1 - [(^ - к/н)!(Ъ —1)1 exp (X,- w) d<
или, введя обозначения

М * )= >i0 ^ ; Т /(0 ° ;
(Ч — Х,е * щ — Х,е I
/
Р| — I ( * / — f t ) <= 1, я. (3.36)

получим
М 0 + * < П -М 0 -т ;(0 1 (3.37)
1 - ет/ (О
Подставив (3.37) в (3.34), получим искомую производящую функ­
цию вероятностей состояний

?(*, г) = П ) Д/(О+ ^«И- «t(0-7i(01 1*'° (3.38)

Формула (3.38) справедлива и при к = р.„ г= 1, п. Однако при

этом

= = (3<39)
Чтобы получить вероятности состояний рассматриваемого про­
цесса, необходимо разложить функцию (3.38) в ряд по степе­
ням z в окрестности точки z — 1 и сравнить члены при одинаковых
степенях данного разложения и соотношения (3.28).
Имеем
xio
(0. (*) + г< [1 -6 ,(0 - 7 /(*)1Г« = 2 СХ1/ , [1 - 6,(0 - т, (01* X

х ( в ( о Г /0_Л, *= Т 7 Х

56
 При |t»| <1 справедливо разложение [19]

(1 _ * , ) - « = £ с ; - - У .
*=о
поэтому при \ Z i 1t ( f ) \ <1, i = l , л получим

П - */Т/ (0Г '° =23 С > +*_, [г,7, ( 0 |fe, i = о, я/

Тогда
-1
<?(*. г) + *-1 X
*~0
Х [га < (* )]* ^ +МГ
Из последнего выражения для искомых вероятностей р(х, /) =
= p(*i, . . х Я9 /), которые совпадают с произведением членов
при г**, 1= 1, /г, находим

-1
л*. о = п 2 <я■ Iо Сл‘"
х,л +х X
i -1 Ь-о

X[1 -W - 7, ( 0 ] 'Ч ( 0 г'и~', ъ ( ^ Г <' 4 }- *= 1 .я, * ,= 0 ,1 , 2........R t.

(3.40)
Пусть теперь X, (лг. £) = 0; В (*,) = 1; ;i, (*/Y) — р, (t)Xi, i — 1, я.
Тогда из (3.38) с учетом (3.36) следует, что
t , х„
- ( ^ at
? (t, г) = П (3.41)
<-1 [ - jV, <«1
Ч -—
г , L1
1 \ -- « и
е < J
откуда
t
~ хю f н jv ' Y '" 1-
0
р (^i> • • • I *»,, О п
/-1
,Лм~1 С
* l - 1 .1 -6 ° i
i = 1, я, jc, = 0, 1,2, . . . . R h (3.42)
Формула (3.41) определяет вероятности состояний системы, в
которой протекает процесс чистого восстановления (размножения).
В случае процесса чистого поражения (без восстановления)
имеем X, (х, 0 = ХД£)д-,; Р<(Х ()= 0 . Тогда из (3.38) с учетом
57
(3.36) следует, что производящая функция вероятностей состоя­
ний этого процесса равна
п Ii ~\' dt —\/ \i dt /О
¥(*. г) = П ]1—■ е ° + z fi 6 (3.43)
i-1 l
Откуда, разложив ф(/, z) в ряд по степеням z и сравнив члены
при одинаковых степенях этого разложения с соотношением (3.28),
получим
п Г / X. dt xi
p(*i> . х». t) = П е 0 X
/-1

у х ‘о'- (3.44)
*i'- (Jf<o - xt)\
Таким образом, получены аналитические выражения (3.40),
(3.42) и (3.44) для интегралов дифференциальных уравнений Кол­
могорова, описывающих широкий круг явлений, присущих воору­
женной борьбе. Для применения этих выражений при моделирова­
нии конкретных боевых процессов необходимо определить вид за­
висимостей l £(t); Pi(t), i = 1, п.
Пример 3.3. На ремонтной базе находится 10 неисправных ар­
тиллерийских орудий. Все орудия ремонтируются независимо друг
от друга. Среднее время, необходимое для ремонта одного орудия,
составляет Т= 5 ч.
Необходимо определить вероятность того, что через 10 ч все
орудия будут отремонтированы.
Р е ш е н и е . Полагаем, что процесс ремонта орудий является
ординарным марковским случайным процессом с непрерывным
временем. Состояние этого процесса будем описывать величиной
х — количеством неотремонтированных орудий.

О - - О .................... * _ 0 ' ~ 0

Рис. 3.6
Так как орудия ремонтируются независимо друг от друга, то
интенсивности переходов цепи определяются соотношением
= -у- х = -g- х = 0,2 х.
Граф состояний процесса имеет вид, как на рис. 3.6,
58
 Таким образом, рассматриваемый процесс представляет собой
марковский процесс гибели. Поэтому для определения искомой
вероятности воспользуемся формулой (3.44). Имеем
р (0,10) = (е-0,2'10)0 [l — е -0,2'10] 10 01(10 —0)! = 0,22.
10!
 IV. МЕТОДЫ ИССЛЕДОВАНИЯ
КОНЕЧНЫХ НЕПРЕРЫВНЫХ ЦЕПЕЙ
Многие процессы, присущие вооруженной борьбе, могут быть
описаны, как показано в разделе III, конечными непрерывными це­
пями Маркова. При этом формально рассматривается динамиче­
ская система 5 с множеством возможных состояний У=
= {Х[, х2, . . ., х п]. Динамика системы есть ординарный марков­
ский случайный процесс блужданий представляющей точки на
множестве У.
Обозначим:
х, ( t ) — событие, заключающееся в том, что в момент време­
ни t система 5 находится в состоянии £ У;
Pt(t) — вероятность события x , ( t ) \
P(t) — вектор-строка элементов р{ (it), i= 1, п\
\y(t) — интенсивность перехода системы из состояния x t в со­
стояние хj в момент времени /; ____
А ( 0 — квадратная матрица элементов Хц(й), », / = 1, п;
Rlt(t0, t ) — условная вероятность того, что x(t) = x jt если x(t0) =
= х i(t ^ /0); R(to, t) = [Ri,(to, /)], i, /= 1 , n — квадратная матрица.
В принятых обозначениях дифференциальные уравнения Колмо­
горова для вероятностей переходов (3.16) и вероятностей состояний
(3.17) можно записать соответственно в виде
dR(t; ; 1} = R ( t 0, t) а (0; (4.1)
^d l = P ( t ) M t ) . (4.2)
Основная задача исследования непрерывных марковских цепей
заключается в определении величин R(J ( t0, / ) , pt (t), i, j= 1, n.
Общим методом вычисления этих величин является интегрирова­
ние соответствующих систем дифференциальных уравнений Колмо­
горова (4.1), (4.2). Однако при высокой размерности систем (4.1),
(4.2) их непосредственное интегрирование связано с большими за-
60
.тратами ресурсов ЭВМ. Эти затраты могут быть снижены приме­
нением подходов, изложенных далее.

4.1. Сведение к дискретным цепям

Дискретная цепь Маркова полностью определяется заданием
матрицы строки начальных вероятностей состояний и заданием
квадратных матриц
*(•*)={#,/(*)]. «\ * = 1 . 2 ------ (4.3)
условных вероятностей переходов из состояний x t, t = l , п в со­
стояния Xj, / = 1, п на 6-том шаге. Суть сведения непрерывной
марковской цепи к дискретной заключается в разбиении отрезка
[О, Т) времени функционирования системы 5 на А отрезков длиной
At — -j“ и построении матриц
R (к) = [Я,у (6)] = [tf,y(4 -,. 4-> + Щ , * = Т Г л (4.4)
условных вероятностей переходов системы на интервале времени
(4-i. 4 ). где 4 = 4-х + Л4 4 = 0.
Непрерывная марковская цепь при известных начальных ве­
роятностях состояний pi (to), i= 1, п полностью описывается мат­
рицей интенсивностей переходов Л(/) —[Л/у(■/)]. Интенсивности пе­
реходов %ij(t), i, /= 1, п для непрерывных марковских цепей свя­
заны с соответствующими вероятностями переходов Ru (t, t+At)
соотношениями (3.13), (3.14). При этом для удобства записи мат­
рицы Л(/) принято, что
п

h, (t) = - >, = 2 1ч (4 • ) = ТГяГ (4.5)

i-i
i ф)
Из соотношений (3.13) и (3.14) с учетом (4.5) следует, что
Rtj (4 * + At) =k{J (t) At -f 0 (At), i Ф j, i, у = Т Г я ; (4.6)
Rn(t, t + A t ) = l + Ku ( t) A t + 0(At), *=TT (4.7)
Положив в соотношениях (4.6), (4.7) t = t k, k = \ , n и опустив
бесконечно малые величины 0(Д/), можно записать
R tj (k ) (4_х) At, k = 1 , п, i Ф у, i, у = 1, я; (4.8)
Rn (к) ~ 1 + hi (4-i) Д*. * = Т 7 ^ 7 i = О Т (4.9)
Соотношения (4.8), (4.9) приближенно (с точностью до бесконеч­
но малых величин О(А/) определяют элементы матрицы Я(к) ус­
ловных вероятностей переходов системы на A-том шаге, соответ­
ствующем интервалу времени (4-1» 4 ). по соответствующим эле­
61
ментам матрицы Л(/) интенсивностей переходов системы в раз­
личные состояния в каждый момент времени. Тем самым соотно­
шения (4.8), (4.9) определяют дискретную марковскую цепь, ап­
проксимирующую рассматриваемую непрерывную цепь. Точность
аппроксимации при этом зависит от величины шага дискретиза­
ции АЛ
К исследованию полученной таким образом дискретной цепи
Маркова применимы все методы, изложенные в разделе II. В ча­
стности, для определения матриц /?(/0, t) и P(t) можно восполь­
зоваться соотношениями (2.6) и (2.4). Процесс вычислений по
формулам (2.6), (2.4) значительно проще, чем непосредственное
интегрирование систем дифференциальных уравнений Колмогоро­
ва (4.1) и (4.2). Последнее обусловливает целесообразность ап­
проксимации непрерывных цепей Маркова дискретными цепями
во многих прикладных задачах. Такая аппроксимация особенно
удобна для однородных непрерывных цепей, так как получаемые
в результате расчетные формулы оказываются очень простыми и
удобными для реализации на ЭВМ.
Пример 4.1. Решить пример 3.2 путем сведения исходной не­
прерывной марковской цепи к дискретной.
Р е ш е н и е . Матрица интенсивностей переходов рассматривае­
мой цепи имеет вид
■—X К • —0,5 0,5
Л= 0 —К я =
° 1 г 0 - 0 ,5
. 0 0 0 J 1. о 0
Примем Л/=1 мин, тогда в соответствии с формулами (4.6), (4.7)
'1 — X I О
R= 0 1— к %
.0 0 1 ]-
В соответствии с формулой (2.6) матрица условных вероятно-
т
стей переходов за А= —^ =3/1 (Гj — время пребывания самолетов
в зоне обстрела зенитного комплекса) равна
'0,5 0,5 0 ' 3 '0,125 0,25 0,375 "
/?(3)=Л *« 0 0,5 0,5 = 0 0,125 0,875
.0 0 1 _ .0 0 1
Безусловные вероятности состояний после Л= 3 шагов равны
0,125 0,25 0,625
Р (3 )= Р (0 )Я 3~[1 0 0] 0 0,125 0,875
0 0 1
=[0,125 0,25 0.625J.
62
 Математическое ожидание числа самолетов, успешно преодо­
левших зону обстрела, равно
М (3) = 2 pi (3) + 1р2(3) + 0 • р3(3) « 2 • 0,125+ 1 • 0,25 = 0,5.

4.2. Вычисление вероятностей достижения

поглощающих состояний
в строго несущественных поглощающих цепях
Теория непрерывных цепей Маркова во многом аналогична
теории дискретных цепей. В частности, классификация дискрет­
ных марковских цепей, изложенная в п. 2.2, полностью переносит­
ся и на непрерывные цепи. Поэтому, не останавливаясь на опреде­
лении непрерывных поглощающих цепей, дополнительно выделим
строго несущественные поглощающие цепи.
О п р е д е л е н и е 4.1. Непрерывная поглощающая марковская
цепь называется строго несущественной, если ее представляющая
точка не может более одного раза пройти через любое состояние,
принадлежащее этой цепи.
Граф состояний такой цепи не содержит циклических маршру­
тов. Примером строго несущественной цепи может служить цепь,
граф состояний которой изображен на рис. 4.1, а. Цепь рис. 4.1,6
не является строго несущественной, так как содержит циклический
маршрут М {х и х2, х5, х х}.

6)
Рис. 4.1

Строго несущественные поглощающие цепи играют важную

роль при моделировании боевых действий. В частности, в виде та­
ких цепей формализуются процессы чистого поражения (без вос­
становления).
Рассмотрим непрерывную строго несущественную поглощаю­
щую цепь Маркова с множеством состояний Y. Множество состоя­
ний этой цепи можно разбить на два непересекающихся подмно­
жества Y1— несущественных и Y2 — поглощающих состояний. Для
цепи рис. 4.1

Важной задачей исследования системы, формализуемой и виде

строго несущественной непрерывной поглощающей цепи Маркина,
является определение вероятностей достижения поглощающих со­
стояний X i £ Y2 в произвольный заданный момент времени т.
Эта задача может быть решена на основе интегрирования си­
стемы дифференциальных уравнений Колмогорова для вероятно­
стей состояний (4.2). Однако, как уже указывалось, при большом
количестве состояний цепи и достаточно большом т такой путь яв­
ляется громоздким и связан с большими затратами ресурсов ЭВМ.
Вместе с тем специфика задачи позволяет построить эффективный
вычислительный алгоритм определения вероятностей pi (т) (xt £ К2)
для однородных непрерывных строго несущественных поглощаю­
щих цепей.
Для вычисления вероятностей р*(т) достижения поглощающих
состояний x t £ У2 к моменту времени т воспользуемся предвари­
тельным определением вероятностей q/ (r) прохождения представ­
ляющей точки через состояния Xj £ Y к этому же моменту вре­
мени.
Для поглощающих состояний x t £ Y2 имеет место равенство
Pi W = qt (t). (4.10)
Физически формула (4.10) означает, что, попав в поглощаю­
щее состояние, представляющая точка цени уже не может из него
выйти и, следовательно, вероятность прохождения через погло­
щающее состояние совпадает с вероятностью нахождения в нем.
Из (4.10) следует, что вероятности qi(t),Xi£ У для строго не­
существенной поглощающей цепи могут быть рекуррентным об­
разом вычислены из уравнений Колмогорова, получаемых из (4.2),
в предположении, что все состояния х. £ Y, для которых qt(t)
определяются на данном шаге рекуррентной процедуры, являются
поглощающими.
Достаточным условием строгой несущественности цепи являет­
ся верхний треугольный вид матрицы Л интенсивностей перехо­
дов. Это обстоятельство, наряду с тем, что алгоритм вычисления
вероятностей qt (т) для цепи с верхней треугольной матрицей ин­
тенсивностей переходов формулируется наиболее просто, обуслов­
ливает целесообразность преобразования матрицы Л для строго
несущественной поглощающей цепи Маркова к треугольному виду.
Пусть имеется некоторая неособенная матрица V, такая, что
В = VAV-', (4.11)
где £ = [6|;], brj = 0 при /> /, I, / = 1, /г, т. е. В — треугольная мат­
рица.
Матрицы Л и В являются подобными. Известно, что для любой
квадратной матрицы Л может быть построена подобная ей тре­
угольная матрица [17].
Если процесс (4.2), (4.4) является строго несущественным, то
64
матрица К представляет собой произведение квадратных матриц
я-го порядка вида
1 . . 0 . . . 0 . . . 0 “

0 . . . 0 . . . 1 . . . 0 г = 1, 2, 3,
0 . . . 1 . . . 0 . . . 0

6 . . . 0 . . . 0 . . . 1

и эквивалентное преобразование матрицы Л к треугольному виду

заключается в перестановке местами кг и 1Г строк (при умножении
Л на V~x слева) и столбцов (при умножении Л на V справа).
Процедура построения треугольной матрицы В\ подобной ис­
ходной матрице Л, в этом случае совпадает с процедурой ранжи­
рования и нумерации вершин графа, используемой в теории сетей.
Суть процедуры ранжирования и нумерации определяется сле­
дующим правилом.
Правило 4.1. Вершинам, в которые не входит ни одна дуга,
присваивается первый ранг. Вычеркнув все дуги, выходящие из
вершин первого ранга, получим одну или несколько вершин без
входных дуг. Этим вершинам присваивается второй ранг. Вычерк­
нув все дуги, выходящие из вершин второго ранга, снова получим
вершины без входных дуг. Этим вершинам присваивается третий
ранг и т. д., пока не будут проранжированы все вершины графа
состояний цепи.
Проранжированные таким образом вершины графа состояний
цепи нумеруются в порядке возрастания рангов. Вершинам перво­
го ранга присваиваются (в произвольном порядке) номера
1, 2, . . ., А|. Вершинам второго ранга присваиваются номера
fti + 1, к + 2, . . . и т. д., пока не будут пронумерованы все вер­
шины.
Полученный в результате этой процедуры граф состояний об­
ладает тем свойством, что из вершины с большим номером нельзя
перейти в вершину с меньшим номером, т. е. матрица интенсив­
ностей переходов имеет верхний треугольный вид.
Из (4.11) следует, что A = V~43V. Подставив это значение в
(4.2), получим
= />(/) V-'BV,

или, введя подстановку Z ( t ) —P{t)V~\

—Z( t ) B \ (4 .1 2 )

б З ш . 559 6S
 2 (0 )= Р (0 ) V-' . (4 .1 3 )

Интегралы уравнений (4.12), (4.13) связаны с интегралами

уравнений (4.2), (4.4) соотношением
P(t)=Z(t)V. (4.14)
Уравнения (4.12) представляют собой дифференциальные урав­
нения Колмогорова для вероятностей состояний непрерывной мар­
ковской цепи с пространством состояний Y*= {уи у2> . . ., у п\ и
матрицей интенсивностей переходов В= [6^], i, / = 1, п верхнего
треугольного вида.
Значения Q, (т) — вероятностей прохождения представляющей
точки рассматриваемой преобразованной цепи через состояния
У/ £ К* к моменту времени т могут быть вычислены с помощью
следующего алгоритма.
Алгоритм 4.1.
1. Qi (т) =Z\ (0).
2. Присвоить d = 0. ____
3. Присвоить zj0} (т) = Zj(0), J = 1, п.
4. Присвоить i= 1+d.
5. Вычислить

г(;)(т) = .

6. Присвоить Q/ + 1 (т) = z\l)+l (т).

7. Если t Н~1< я, то присвоить d = d + 1 и перейти к четвертому
шагу, в противном случае конец вычислений.
В результате вычислений по алгоритму 4.1 получается вектор-
строка Q = [Q /(т)], /= 1 ,я . Пусть Кг — множество поглощающих
состояний рассматриваемой цепи. Тогда из (4.10) следует, что
Zi (х) = Q, (*) для всех y, G Y*. (4.16)
Таким образом, алгоритм 4.1 совместно с соотношением (4.16)
позволяет вычислить вероятности zz(т) достижения поглощающих
состояний yt £ Y\ к моменту времени т для непрерывной марков­
ской цепи с матрицей интенсивностей переходов, имеющей верх­
ний треугольный вид.
66
 Для получения вероятностей q t (т) прохождения представляю­
щей точки исходной цепи через состояния х, f У необходимо умно­
жить вектор-строку Q справа на матрицу подобия V:
q^ )= [q i( x)] = QVy i= \^ T. (4.17)
Соотношение (4.17) по сути представляет собой перестановку эле­
ментов Q /( t ), / = 1, п матрицы-строки Q(r) в соответствии с нуме­
рацией состояний исходной цепи.
Вероятности достижения представляющей точкой исходной
цепи поглощающих состояний к произвольному заданному момен­
ту времени т определяются выражением

Pi(') = 4i(x) Для всех К2. (4.18)

В большинстве практических задач нумерация вершин графа

состояний цепи не играет значительной роли. В этих случаях це­
лесообразно осуществлять исходную нумерацию в соответствии с
правилом 4.1. Тем самым матрица интенсивностей переходов ис­
ходной цепи будет иметь верхний треугольный вид и снимается
необходимость построения матрицы подобия V (матрица V в этом
случае является единичной матрицей размерности пХп).
Пример 4.2. Определить вера
ятности исходов боя двух проти­
вотанковых орудий (ПТО) про­
тив двух танков, если на обстрел
одного танка каждому ПТО необ­
ходимо в среднем 7\=10 с и танк
поражается с вероятностью рц=
= 0,5. Танку для осуществления
поиска и выстрела по ПТО необ­
ходимо Т2= 20 с и поражение
осуществляется с вероятностью
р2= 0,5; длительность боя т =
= 5 мин.
Р е ш е н и е . Будем полагать,
что каждое ПТО осуществляет
пуассоновский поток выстрелов с
интенсивностью At = 1/10. Тогда
поток успешных выстрелов будет Рис. 4.2
также пуассоновским с парамет­
ром К\ =А\р\ = 0,1 • 0,5 = 0,05. Ана­
логично поток успешных выстрелов каждого танка является пуас­
соновским с параметром К2= А2р2= 0,05-0,5 = 0,025. Граф состояний
системы изображен на рис. 4.2.
Нумерация состояний системы проведена в соответствии с пра­
вилом 4.1.
5* 67
 Матрица интенсивностей переходов имеет вид

(*|) (•**) (*s) (х*) (*а) (*е) (*т) (*.)

(*l) —0,15 0,05 0,1 0 0 0 0 0
(*|) 0 -0 ,1 0 0,05 0,05 0 0 0
(*•) 0 0 —0,125 0 0,025 0,1 0 0
(*«) 0 0 0 0 0 0 0 0
(*б) 0 0 0 0 -0,075 0 0,025 0,05
(*«) 0 0 0 0 0 0 0 0
С^т) 0 0 0 0 0 0 0 0
(*в) 0 0 0 0 0 0 0 0
Вероятность победи танков
Р тСО =Ра( х) +р7(т);
вероятность победы ПТО
/7пто(т )=Рб(т)+Р8(т).
Осуществляя вычисления в соответствии с алгоритмом 4.1, по­
лучим
Q (т) =[1; 0,3; 0,7; 0,15; 0,29; 0,55; 0,1; 0,2],
откуда для поглощающих состояний х4, лгб, х и х8 на основании
(4.16) имеем
р4(5) =0,15; р6(5) =0,55; р7(5) =0,1; Рв(5) =0,2.
Следовательно, вероятность победы танков
р т (5) =0,154-0,1 =0,25;
вероятность победы ПТО
р пто (^) = 0,55 + 0,2 = 0,75.

4.3. Вычисление вероятностей достижения

поглощающих состояний
в поглощающих цепях общего вида
Если граф состояний непрерывной поглощающей цепи содер­
жит хотя бы один циклический маршрут M (x it . . x t), то такая
цепь не является строго несущественной и подход к вычислению
вероятностей достижения поглощающих состояний к некоторому
моменту времени т, рассмотренный в предыдущем пункте, к ней
неприменим. В этом случае целесообразно ввести строго несуще­
ственную цепь, квазиэквивалентную в смысле вероятностей дости­
жения поглощающих состояний рассматриваемой поглощающей
68
цепи общего вида. Построение такой квазиэквивалснтной цепи за­
ключается в следующем.
Введем максимально допустимую суммарную погрешность Д
определения вероятностей достижения поглощающих состояний
исходной цепи с графом состояний G(K). Пусть в этой цепи имеет­
ся циклический маршрут с начальным состоянием л ^ К ; M(xt,
x /t х п x h Xi). Для каждого из состояний x j%. . х п х и
принадлежащих этому маршруту, введем k фиктивных состояний:

х 'а, , . . . , x 1tь ,
3 ‘к

а для состояния x t введем k + l фиктивное состояние x t , . . х (

1 ‘А’
Xt . При этом фиктивное состояние х, положим поглощающим,
а все остальные несущественными. Положим, что представляющая
точка цепи, достигнув состояния х 1х не может перейти в состояние
Xt (т. е. условно примем ки = 0 ), а с интенсивностью = Х/; пе­
реходит в состояние x it и далее в состояние лгу,, . . x ri, Х/х соот­
ветственно с интенсивностями Х/1У1 = Х^э . . Xri/i = Хг/. Из состоя­
ния Xix с интенсивностью h li9 = hi осуществляется переход в со­
стояние хгл и т. д., пока не будет достигнуто поглощающее состоя­
н и е * ,* ^ .
Кроме движения по такой условной «спирали» представляю­
щая точка из любого фиктивного состояния может покинуть дан­
ную «спираль» и перейти в те же состояния с теми же интенсив­
ностями, что и из соответствующего нефиктивного состояния, при­
надлежащего рассматриваемому циклическому маршруту.
Подобным образом в 6-витковые спирали разворачиваются все
контуры размеченного графа состояний цепи. Тем самым полу­
чается некоторая строго несущественная цепь с графом состояний
G{Y(k)). Вероятности достижения поглощающих состояний этой
цепи к моменту времени т могут быть вычислены с помощью алго­
ритма 4.1. При этом вероятности достижения поглощающих со­
стояний цепи с графом G(YW) отличаются от соответствующих
вероятностей для исходной цепи с графом состояний G(Y) не бо­
лее чем на величину

Д(А)= 2 М о о ), (4 .1 9 )

60
где К</> — множество фиктивных поглощающих состояний;
Pi(co) — финальная вероятность нахождения цепи в состоя­
нии X/,
Pt ( с о ) = \ i m p i (т).

Ч исло k фиктивных состояний для всех контуров (циклических

маршрутов) рассматриваемой цепи общего вида выбирается та­
ким, чтобы выполнялось условие
A(k)^A. (4.20)
Таким образом, алгоритм 4.1 совместно с методом построения
квазиэквивалентной цепи позволяет определить вероятности до­
стижения поглощающих состояний для однородных поглощающих
цепей общего вида.
Пример 4.3. Построить граф состояний цепи квазиэквивалент­
ной в смысле вероятностей достижения поглощающих состояний
для цепи, граф состояний которой изображен на рис. 4.3.
Р е ш е н и е . При k = l граф состояний квазиэквивалентной цепи
имеет вид, как на рис. 4.4.
При построении графа рис. 4.4 принято, что начальной верши­
ной контура является вершина х4. Для нее введены два фиктивных
состояния: *4ь *42- Для вершины хъ введено одно фиктивное со­
стояние *31. Тем самым контур М(хА, *3, х4) развернут в одновит-
ковую «спираль» (лг4, л:3, х41, jc3i, jc42).

4.4. Исследование установившихся режимов

Важной задачей исследования боевых процессов, формализуе­
мых в виде непрерывных цепей Маркова, является исследование
установившихся режимов, т. е. определение вероятностей состоя-
70
Пий цепи после достаточно большого времени блуждания пред­
ставляющей точки по этим состояниям.
Исследование установившегося режима в непрерывной цепи
Маркова сводится к исследованию решения P(i) дифференциаль­
ного уравнения Колмогорова (4.2) с начальными условиями (4.4)
при /->-00
Я =М т P(t). (4.21)
t - 00
Матрицу-строку Р=[р\, рг» . • .» рп] принято называть матрицей
финальных вероятностей, а ее элементы pl% i= 1, п — финальными
вероятностями состояний цепи.
Задача определения вероятностей (4.21) может быть решена
численным интегрированием уравнений (4.2) с начальными усло­
виями (4.4) на ЭВМ. Однако при достаточно большой размер­
ности системы (4.2) это приводит к значительным затратам ма­
шинного времени. В связи с этим возникает проблема построения
эффективных алгоритмов вычисления финальных вероятно­
стей (4.21).
В соответствии с классификацией, изложенной в п. 2.2, множе­
ство всех непрерывных цепей Маркова можно разделить следую­
щим образом:
процессы без несущественных состояний, включающие эргоди-
ческие процессы (т. е. процессы с одним эргодическим множест­
вом) н процессы с более чем одним эргодическим множеством;
процессы с несущественными состояниями, включающие под­
класс процессов со множеством несущественных состояний общего
вида и подкласс процессов со множеством только строго несущест­
венных состояний.
Для получения полной совокупности алгоритмов вычисления
финальных вероятностей в рассматриваемых марковских цепях
необходимо построить их для всех рассмотренных классов процес­
сов. Если множество К= \ х и . . ., х п\ состояний цепи является эр­
годическим, то финальные вероятности (4.21) н£ зависят от на­
чальных условий (4.4) и удовлетворяют системе линейных алгеб­
раических уравнений [18]
РА = 0; (4.22)
п

Х > = 1- (4.23)

Уравнение (4.22) получается из (4.2) при — 0.

Если множество Y состояний цепи содержит непустое подмно­
жество К, несущественных состояний, то
Н т /> ,(* ) = 0 для всех Х( £ Yv (4 .2 4 )

71
 Равенство (4.24) непосредственно следует из теоремы 2.2. Если
УгФ 0 , а множество существенных состояний У2 содержит k эргоди-
ческих множеств У2/, i= 1, ky то финальные вероятности (4.21) удов­
летворяют соотношениям (4.22), (4.24) и дополнительным соотно­
шениям

2 P i ^ pU)>/= Т " А ; (4.25)

2 p (y)= i , (4.26)

где РМ — финальная вероятность попадания представляющей точ­

ки цепи в эргодическое множество Y2/ C ^2- Соотношения (4.25),
(4.26) при k = l совпадают с (4.23).
Поэтому финальные вероятности для всех типов неразложимых
непрерывных цепей могут быть вычислены решением системы ли­
нейных алгебраических уравнений (4.22), (4.24) — (4.26). Однако
эта система оказывается неопределенной, так как за исключением
случая k= \ величины P{j\ j= 1, k в уравнениях (4.25) неизвестны.
Для замыкания данной системы и получения тем самым общего
эффективного алгоритма вычисления финальных вероятностей
цепи необходимо построить подалгоритм вычисления вероятностей
р и\ /= 1, k. С этой целью воспользуемся возможностью замены
эргодических множеств У2/ ,/ = 1 , k рассматриваемой цепи без из­
менения величин Р ^ \ /= 1, k поглощающими состояниями. В этом
случае проблема определения величин Ри\ /= 1, k сводится к про­
блеме вычисления финальных вероятностей для поглощающих не­
прерывных цепей Маркова и может быть решена на основе подхо­
да, изложенного в п. 4.2, 4.3. При вычислении финальных вероят­
ностей для строго несущественных непрерывных однородных по­
глощающих цепей выражение (4.15) принимает более простой вид:

Qi(co)- + z y -» (ос), j = i + 1, n ;
(°°) 2 bik (4.27)
k = i +1
zy- , ) (°°). / = 1 , i-
Пример 4.4. Артиллерийский дивизион может находиться в од­
ном из следующих состояний:
х х— дивизион не боеспособен в результате поражения против­
ником;
х2 — дивизион не боеспособен из-за израсходования боеприпа­
сов;
х3— дивизион боеспособен, но не выполняет огневую задачу;
х4 — дивизион выполняет огневую задачу.
72
 Возможные переходы между состояниями и их интенсивности
показаны на рис. 4.5.
Необходимо определить вероятности небоеспособных состоя­
ний дивизиона, если бой длится достаточно долго и Р( 0) =
={0 0 0 1].
Р е ш е н и е . Введем строго несущественную поглощающую
цепь, квазиэквивалентную в смысле финальных вероятностей ис­
ходной цепи. Такая цепь при /г=1 изображена на рис. 4.6.
Контур М(хА, х3, хА) исходной цепи развернут в «спираль»
(*4> * 3 , *41, *31, * 4 2 ) •

Матрица интенсивностей переходов для квазиэквивалентной

цепи (рис. 4.6) в соответствии с правилом 4.1 может быть запи­
сана в виде верхней треугольной матрицы следующего вида:
(-*<) (*з) (-Т«)(-*5) (*8l) (*4!l) (*l)

(* 4 ) — 3 1 0 1 0 0 1

(•* « ) 0 — 2 1 0 0 0 1

(•*41) 0 0 — 3 1 1 0 1

м 0 0 0 0 0 0 0

( • * 3 l) 0 0 0 0 — 2 1 1

(* 4 2 ) 0 0 0 0 0 0 0

(* 1 ) 0 0 0 0 0 0 ()

Вычислим на основании алгоритма 4.1 перомгностн прохожде­

ния представляющей точки квазнэкнинллопптй цепи через состоя­
ния 1*4, *3, *41, *2, *31, *42, *1 ), получим
Q(oo) =[! 1/3 1/6 7/18 1/18 1/36 21/36].
73
 Для поглощающих состояний х2, xi2, *1 имеем

/^2 (°°) » /^42 (°°) 36* > Л (°°) 36 е

Таким образом, в процессе боя дивизион может потерять бое­
способность вследствие израсходования боеприпасов с вероятно-
7
стью р2(°°) = -jg или вследствие поражения огневыми средствами
21
противника с вероятностью р i(oo) = gg-. Погрешность определения
величин р2{оо) и pi(oo) в данном случае не превышает величи­
ну Р42(оо)= -gg .

4.5. Примеры анализа боевых процессов

Рассмотрим бой однородных группировок при следующих до­
пущениях.
1. Начальные численности боевых средств первой и второй
группировок равны соответственно Л4Ь М2.
2. Каждое боевое средство одной из группировок может вести
огонь по любому средству другой группировки.
3. Одним выстрелом нельзя поразить более одного боевого
средства.
4. Если боевое средство поражено, огонь немедленно перено­
сится на другое средство.
5. Пораженное боевое средство в дальнейших боевых дейст­
виях не участвует.
6. В каждый момент времени в бою участвуют все непоражен­
ные средства группировок.
7. Каждое боевое средство первой (второй) группировки осу­
ществляет пуассоновский поток успешных выстрелов с парамет­
ром A-iCta).
Состояние боя в каждый момент времени t будем характери­
зовать двумя целыми положительными числами (а, Ь)— текущи­
ми численностями боевых средств группировок. Этот процесс боя
можно рассматривать как марковский случайный процесс блуж­
даний представляющей точки по вершинам графа (рис. 4.7) из со­
стояния (Мь М2) до границы Г= {(а, 0); (0, Ь) }. Состояния, при­
надлежащие границе, являются поглощающими.
Процесс блужданий представляющей точки представляет собой
строго несущественную поглощающую цепь Маркова и описывает­
ся системой дифференциальных уравнений Колмогорова (3.24), в
которой принято
<Di=A,ia; <d2=:'h2b\ Yi==fY2==0‘ (4*28)
Типичными при исследовании описанной модели боя являются
следующие задачи.
74
 Задача 1. Определить вероятности Я, (а*, I), Яи (b*, t) того, что
к моменту времени t потери первой группировки превысят
(Afi — а*), а второй (М2 — Ь*) боевых средств.
Задача 2. Определить вероятности Я, (0, t), Р п (0, t) истощения
сил первой и второй группировок к моменту времени t.

”г\

\ "А
'Л»г 1 )V
Л/,-1

‘6 - — 6 - — 6 —

— О — - О ------О ---------0 - 7
О 1 2 ... л/j-l М

Рис. 4.7

Задача 3. Определить полные вероятности победы первой

Р„(6*, о о ) и второй Р, (а*, оо) группировок, если первая группи­
ровка прекращает бой (считается побежденной) при потерях не
менее (Мх — а*), а вторая — при потерях не менее (М2 — 6*) бое­
вых средств.
Для решения задачи 1 положим, что состояния
Г* = \(а*, 6), (а, 6*)(, а = а*, Af!t 6 = 6*, Af2 (4.29)
являются поглощающими. Тогда
м,
Я, (а*, 0 = 2 Р(а*’ Ь<0 ; (4.30)
Ь= Ь*+ 1

Pu { b * , t ) = 2-f 1р(«. * • ./) . (4.31)

где р(а*, b, t), р(а, b*, t) — вероятности достижения представляю­

щей точкой цепи к моменту времени t соответствующего погло­
щающего состояния (а*, Ь) £ Г*; (а, />*) £ Г*.

75
 Задача 2 является частным случаем задачи 1 при а* = 6* = 0.
Задача 3 является частным случаем задачи 1 при t-+oo.
Величины р(а*, 6, t), р(а, &*, /) в выражениях (4.30), (4.31)
могут быть определены численным интегрированием системы диф­
ференциальных уравнений Кол­
могорова (3.24) при условиях
(3.25), (4.28). Однако такое
интегрирование при больших
начальных численностях бое­
вых средств группировок и вы­
соких уровнях допустимых по­
терь связано с большими за­
тратами ресурсов ЭВМ. Вме­
сте с тем специфика исследуе­
мого процесса боя позволяет
воспользоваться для определе­
ния указанных вероятностей
эффективным алгоритмом, опи­
санным в пп. 4.2, 4.4, который
значительно сокращает необхо­
димый объем вычислений в
сравнении с непосредственным
численным интегрированием
соответствующей системы дифференциальных уравнений Колмо­
горова.
Пример 4.5. Определить вероятности Р{(0, /), Р „(0, t) уничто­
жения противотанковых орудий и танков для боя трех танков и
двух ПТО, если их эффективные скорострельности Xi=^2 =
= 1 выстр/мин и бой длится 1 мин.
Р е ш е н и е . Граф состояний процесса боя изображен на
рис. 4.8. Нумерация вершин графа осуществлена в соответствии с
правилом 4.1. Матрица интенсивностей переходов имеет вид
1 2 3 4 5 6 7 8 9 10 и
~5 3 2 0 0 0 0 0 0 0 0
0 —4 0 3 1 0 0 0 0 0 0
0 0 —4 0 2 2 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 —3 0 2 1 0 0 0
0 0 0 0 0 —3 0 1 2 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 -2 0 1 1
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0

76
 Вероятности достижения поглощающих состояний { 4, 7, 9, 10,
11} определяются по алгоритму 4.1. При *= 0 имеем
P(0) = [Pl(0), р2(0)......... Рп(0)] = [1, 0 ,. . .,0].
Осуществив вычисления по алгоритму 4.1, получим вектор-стро-
КУ Q = (Q /(T)1. /= 1 ; И вероятностей прохождения представляю­
щей точки через соответствующие состояния к моменту времени
т = 1. Имеем
Q = [l; 0,594; 0,396; 0,436; 0,339; 0,194; 0,215; 0,168;
0,123; 0,072; 0,072].
В соответствии с (4.16) вероятности достижения поглощающих
состояний {4, 7, 9, 10, 11} к моменту времени т=1 равны вероят­
ностям прохождения представляющей точки через эти состояния к
этому же моменту времени. Следовательно,
р ( 0; 3; 1 )= р 4(1) =0,436; р(0; 2; 1) = р 7(1) =0,215;
Р (2; 0; 1 )= р 9(1) =0,123; р (0; 1; 1) =Р,о(1) =0,072;
р (1; 0; 1 )= р „ (1 ) =0,072.
Вероятность уничтожения ПТО определяется выражени­
ем (4.30):
Р,(0; 1) =р(0; 3; 1 )+ р (0 ;2 ; 1)+р(0; 1; 1) =
=0,436+ 0,215+0,072 = 0,723.
Вероятность уничтожения танков определяется выражени­
ем (4.31):
Р „ (0; 1) =р(2; 0; 1)+р(1; 0; 1) =0,123 + 0,072 = 0,195.
Таким образом, в данном примере превосходство имеет группи­
ровка танков.
Рассмотрим теперь, как зависят результаты боя от начальных
численностей группировок при постоянном соотношении сил. В
табл. 4.1 представлены результаты расчетов полных вероятностей
победы группировки противотанковых средств Рпто и группировки
танков Рт при А,|=&2=1 в зависимости от начальных численностей
боевых средств при условии, что бой прекращается при потере 50
н 100%' боевых средств.
Анализ данных табл. 4.1 позволяет сделать следующие выводы.
1. Вероятности победы зависят нс только от соотношения на­
чальных численностей боевых средств группировок, но и от самих
начальных численностей боевых средств. При этом с ростом на­
чальных численностей при сохранении их соотношения вероятность
победы сильной стороны возрастает.
2. При любом начальном соотношении сил группировок суще­
ствует уровень потерь, при котором слабой группировке целесооб­
разно прекратить бой и вывести свои боевые средства из зоны воз­
действия группировки противника, так как в противном случае
она будет полностью уничтожена, не нанеся при этом существен-
77
 Таблица 4.1

Бой прекращается при Бой прекращается при потере

потере 50% боевых средств всех боевых средств
Mi : М2 Математи­ Математи­
Л т го Рт ческое ожи­ ^ п т о Рт ческое ожи­
дание ПТО дание ПТО

4 :2 0,87000 0,13000 3,00 0,92000 0,08000 2,99

8 :4 0,94400 0,05600 6,70 0,98000 0,02000 6,50
1 2 :6 0,97500 0,02500 10,30 0,99300 0,00700 9,99
1 6 :8 0,98900 0,01100 14,00 0,99800 0,00200 13,40
2 0 :1 0 0,99500 0,00500 17,17 0,99930 0,00070 17,00
24: 12 0,99750 0,00250 21,40 0,99980 0,00020 20,40
3 6 :1 8 0,99980 0,00020 32,00 0,99999 0,00001 31,00
48 :2 4 0,99997 0,00003 43,00 1 0 41,00

ных потерь противнику. Этот вывод следует из сравнения матема­

тических ожиданий численностей боевых средств группировки
ПТО при условии, что бой прекращается при потере группировкой
50 и 100% танков и является проявлением общего закона воору­
женной борьбы — закона возрастания превосходства.
Эффективность предложенного в пп. 4.2—4.4 подхода к анализу
конечных однородных цепей Маркова с непрерывным временем
иллюстрируется тем, что для вычисления всех данных, представ­
ленных в табл. 4.1, потребовалось 1 мин 12 с машинного времени
ЭВМ ЕС-1030, а на определение вероятностей истощения сил только
для одного варианта (Afj = 16, М2= 8, Xi = X2= l) путем непосред­
ственного интегрирования соответствующей системы дифференци­
альных уравнений Колмогорова — 1 ч 4 мин.
Наряду с уравнениями Колмогорова для исследования конеч­
ных непрерывных цепей Маркова широко применяются уравнения
динамики средних [14].
Динамика математических ожиданий численностей боевых
средств рассматриваемого процесса боя однородных группировок
приближенно описывается уравнениями (1.1), в которых N = M\,
М = М2. Превосходство той или иной группировки в модели (1.1)
вычисляют на основе показателя потенциального превосходства х,
который определяется выражением [14]

Х =Ж тг • (4,Э2)
Если х>1, то первая группировка имеет больше шансов на победу.
Если х= 1, то шансы группировок равны. Если же х<1, то в сред­
нем побеждает вторая группировка.
Так как показатель (4.32) определен из модели (1.1), прибли­
женно описывающей рассматриваемый процесс боя однородных
группировок, то возникает вопрос — насколько корректны выводы,
полученные на его основе? Следующий простой пример показы-
78
вает, что данный показатель не всегда позволяет выделить более
сильную группировку.
Пример 4.6. Определить группировку, шансы которой на побе­
ду выше, если Л4Г=5, М2= 1, i, = l, ^ = 25.
Р е ш е н и е . Из выражения (4.32) следует, что х=1, т. е. в рам­
ках модели (1.1) обе группировки имеют одинаковые шансы на
победу.
Проверим корректность этого вывода на основе анализа точ­
ной модели рассматриваемого процесса — непрерывной цепи Мар­
кова. Граф состояний процесса боя имеет вид, как на рис. 4.9. Вер­
шины графа пронумерованы в соответствии с правилом 4.1.

© * — < 5> — О

<3— ©— © т
3 4 5

Рис. 4.9

Полная вероятность победы первой группировки

Р||(0, оо) = / 7 3 ( о о ) + р 5(оо) + р 7 (оо) + /?,, (о о ) + р п ( с о ) = \ — р 10(оо) .

Полная вероятность победы второй группировки

Л ( ° ’ °°) =Рю(°о).
Финальные вероятности /?/(оо), / = 3, 5, 7, 9, 10, И достижения
соответствующих поглощающих состояний определим в соответст­
вии с алгоритмом 4.1. Получим
0,0 = 0,571; Рг (0, оо) =0,571; Рп(0, оо)=0,429,
т. е. вторая группировка имеет более высокую вероятность побе­
ды, чем первая. Следовательно, вывод, полученный на основе по­
казателя (4.32), в данном случае несправедлив.
$ $
*
В настоящее время в связи с внедрением средств автоматиза­
ции управления в практику войск возрос интерес к аналитическим
моделям боя. Для построения таких моделей широкое применение
находит математический аппарат марковских случайных процессов.
Изложение в данном пособии основных положений теории цепей
Маркова и их приложений к моделированию боевых процессов
79
преследовало цель дать систематизированное представление о воз­
можностях применения аппарата марковских процессов к модели­
рованию боевых действий и методах исследования этих моделей.
При этом основное внимание уделено прикладным методам иссле­
дования конечных цепей Маркова. Ограниченный объем пособия
не позволил дать полное обоснование рассмотренным методам и
сузил их перечень. Помимо изложенных в пособии существуют и
другие эффективные методы исследования марковских цепей. Это
в первую очередь относится к цепям с бесконечными множествами
состояний, которые реже применяются при моделировании боевых
процессов и поэтому менее освещены в пособии, чем конечные
цепи.
 ПРИЛОЖИШЬ
НЕОБХОДИМЫЕ СВЕДЕНИЯ ИЗ ТЕОРИИ МАТРИЦ

Матрицей порядка т Х п называется система тп элеменюн.

расположенных в виде прямоугольной таблицы, имеющей tn строп
и п столбцов.
Обозначение:
П |П 3 -. ■Гщ
г21г гг- • ■г ал
R - Ы -
r mlirm2 • ■•Гтп
Матрица R называется числовой, если ее элементами t ,, ......
ются числа.
Матрица R называется функциональной, если ее тлсминм /
являются функциями от некоторого аргумента / (i. с гч i,t (/I
Матрица может иметь любое количество (конечное или t ч« i
ное) строк и столбцов.
Матрица R, состоящая из я элементов, расположенных и <ни
бец, называется я-мерным вектором-столбцом:
Г\
г,
я= •

Гп
Матрица R, состоящая из я элементом, pm пониженны......... ..
ку, называется я-мерным вектором-строкой
Я “ К . П. П. • • .
Для вектора-столбца и вектора г i|н»ки гимнны . «mi
помечать одним индексом.
6 Зак. 559 *I
 Матрица R порядка п Х п называется диагональной, если ее эле­
менты удовлетворяют условию г = 0 для всех / ф i, т. е.
0 0 ...0
ги

R = 0 г2,0 . ..0
0 0 г„....0
0 0 0 . • •г пп
Диагональная матрица, в которой все элементы, лежащие на
главной диагонали, равны 1, называется единичной. Например:
10 0 0
0 10 0
I—
0 0 10
0 0 0 1
элементы которой равны i
вой. Например:
0 0 0 0
0 0 0 0
0=
0 0 0 0
0 0 0 0
Транспонированная матрица по отношению к матрице R = ||гу||
обозначается R* и определяется по формуле R* = ||Гу,Ц. Например:
гп Г 12 Г 13 г и Г2\ Г31
R= Г2\ Г22 г23 Г\2 ?22 ГЪ2
R* =
>31 Г32 г 33 г 13 г23 ГЪЪ

Суммой двух матриц у4=Ца/;|| и B = \ b t^ одинаковых типов

называется матрица С=|)с*/Ц, элементы которой определяются
по формуле ctj — atj -f bir Например:
2 3 1 1 2 3 II 3 5 4
А= 3 4 2 5= 1 2 3 С=А+В= 4 6 5
2 8 5 1 2 3 II 3 10 8
Произведением двух матриц А - В называется матрица D =
= ||dy||, элементы которой определяются по формулам rf,y =
П
= a,bbtl, т. е, элементы df/ равны сумме произведений элемен-
*-1
82
тов /-той строки матрицы А на соответствующие элементы /-того
столбца матрицы В. Например:
2 0 3 1 3
А= 5 1 2 В= 2 1
1 2 1 4 0

2- 1+0- 2 + 3-4 2-3 + 0- 1+3- 0 14 6

D = A- В = 5-1 + 1 - 2+2- 4 5- 3 + 1 • 1+2- 0 = 15 16
1 -1 + 2 - 2 + 1 -4 1 -3 + 2- 1+ 1 -0 9 5

Результат умножения матрицы порядка т Х п на матрицу по­

рядка n X k представляет собой матрицу размерности m x k .
Детерминант (определитель) матрицы А= (|а,-у|| порядка п Х п
обозначается deitA и представляет собой число, получаемое на ос­
нове элементов матрицы по определенным правилам. Так, опреде­
литель матрицы порядка 2X2 вычисляется по формуле
0|| Д|2
dеМ = = 0||022 -- 02|0|2-
021 а22
Определитель матрицы А порядка п Х п вычисляется в общем
случае разложением по элементам любой /-той строки по формуле
deti4 = ацА{1 + (ti2A l2 alnA in,

где A tJ— алгебраическое дополнение соответствующего элемента.

Алгебраическим дополнением элемента а/у называется опреде­
литель п — 1 порядка, образованный из данного определителя вы­
черкиванием строки и столбца, на пересечении которых стоит дан­
ный элемент а1г и взятый со знаком плюс, если / + / четное, и со
знаком минус, если / + / — нечетное число. Например:

0|| Я|2 Al3

022 Я23 021 0 23
detA = 021 0,22 023 = а 11 “ 0 j2 "Ь
а 32 033 Ол | Н;П
031 032 033
а 21 0 22
+ r t l8 I “ — 0 11^22033 — 0 \ \ а 2Л0 Л2 — 0 \ I
I Д31 032
+ ^12^23^31 + 0 \ з й 2 \й з 2 — 0 1 3 0 2 2 0 .И ■

Обратная матрица для матрицы R обозпачпетея R Она удов-

6* 83
летворяет равенствам R • R~]= R - lR = I, где / — единичная матри­
ца, и имеет структуру
А цА21.. *Апх
п-1 * А 12^22- • *^rt2
n — detR .....................
^1п^2п • • •Апп

где Ац — алгебраическое дополнение элемента г матрицы R.

Операция дифференцирования матрицы определяется следую-
шим образом:
dA daij
~df = dt
В частности, для вектора
dR II dr‘
dt ~~ dt
 ИСПОЛЬЗОВАННАЯ ЛИТЕРАТУРА

1. Т у т у б а л и н В. Н. Статистическая обработка рядов наблюдений. М.:

Знание, 1973.
2. Т у т у б а л и н В. Н. Теория вероятностен в естествознании. М.: Зил
нне, 1972.
3. А л и м о в Ю. И. Альтернатива методу математической статистики. М
Знание, 1980.
( З ^ Т к а ч е н к о П. Н. и др. Математические модели боевых действии. М;
Сов. дедио, 1969.
(5; М о р з Ф. М., К и м б е л л Д. Е. Методы исследования операций. М..
Сов. радио, 1956.
В е н т ц е ль Е. С. Введение в исследование операций. М.: Сов. радио,
1964.
7. К о ф м а н А., К р ю о н Р. Массовое обслуживание. Теория и приложе­
ния. М.: Мир, 1965.
8. К е м е н и Дж., С н е л л Дж. Конечные цепи Маркова. М.: Наука, 1979
9. Ф р а й Т. Теория вероятностей для инженеров. М.: Гостехнздат, 1934.
10. Г а н и н М. П. Прикладные методы теории марковских случайных про
цессов. Л.: Изд-во ВМА, 1974.
11. К о л м о г о р о в А. Н. Об аналитических методах в теории нсрпигмп
стей^г—Успехи математических наук, 1938, № 5, с. 5—41.
(Ш Т а р а к а н о в К. В., О в ч а р о в Л. А., Т ы р ы ш к н н А. 11. Лналитн
ческтеметоды исследования систем. М.: Сов. радио, 1974.
13. Т и х о н о в В. И., М и р о н о в М. А. Марковские процессы. М.: Сои. рн
дио, 1077.
1 4 р В е н т ц е л ь Е. С. Исследование операций. М.: Сов. радио, 1972
Г57 Б а р у ч а - Р и д А. Т. Элементы теории марковских процессов и их при­
ложения. М.: Наука, 1969.
16. К у р а н т Р. Уравнения с частными производными. М.: Мир, 1904
17< П а и т м а х е р Ф. Р. Теория матриц. М.: Наука, 1967.
18. П р о х о р о в Ю. В., Р о з а н о в Ю. А. Теория вероятностей. М Илу
ка, 1973.
^101 К о р н Г., К о р н Т. Справочник по математике. М.: Наука, 1974
20, ) Исследование операций: Методологические основы и математические мс
тодьЦГМ.: Мир, 1981. Т. 1.
21. Исследование операций: Модели и применения. М : Мир, 1981 1 2