Вы находитесь на странице: 1из 5

А.М. Кориков, А.Т. Нгуен.

Нечеткая нейросетевая классификация интенсивности марковского случайного потока событий 79

УДК 004.8

А.М. Кориков, А.Т. Нгуен

Нечеткая нейросетевая классификация интенсивности


марковского случайного потока событий
Исследовано применение моделей нечетких нейронных сетей, использующих нечеткие функции активации
нейронов, для решения задач классификации интенсивности марковских случайных потоков событий. Исследо-
вание проводится с помощью средств компьютерного моделирования MATLAB. Марковские случайные потоки
событий представлены в виде двух последовательно идущих друг за другом кусков простейших (пуассонов-
ских) потоков, каждый из которых характеризуется своей интенсивностью прихода событий. С помощью не-
четких нейронных сетей решается задача дихотомии: классификация интенсивности двух пуассоновских пото-
ков. Компьютерное моделирование подтвердило эффективность нечеткой нейросетевой классификации интен-
сивности марковского случайного потока событий.
Ключевые слова: нечеткие функции активации, нечеткие нейронные сети, МАР-потоки событий, МС-потоки
событий, классификация интенсивности потока.
doi: 10.21293/1818-0442-2017-20-2-79-83

Методы и технологии искусственного интел- MAP-потоки событий часто используются в


лекта (ИИ) используются для решения многих прак- теории массового обслуживания (в англоязычной
тических задач: автоматизации и роботизации тех- литературе – Queueing Theory (теория очередей)).
нологических процессов и производств, проектиро- Основоположником исследований в данной области
вания информационно-вычислительных систем, те- считается датский ученый А.К. Эрланг, опублико-
лекоммуникационных и компьютерных сетей и т.д. вавший в 1909–1917 гг. работы, посвященные об-
Искусственные нейронные сети (НС) и технологии, служиванию требований, поступающих на телефон-
базирующиеся на них, занимают лидирующие пози- ную станцию. Развитие теории массового обслужи-
ции среди методов и технологий ИИ [1]. В наших вания связано с её применением в системах управ-
работах [2, 3] предлагаются новые модели нечетких ления запасами, транспортных системах, системах
НС (ННС), использующих нечеткие функции акти- связи, компьютерных сетях [6]. Частные случаи
вации (ФА) нейронов ННС. В таких ННС нечеткость MAP-потоков называют также МС-потоками (Mar-
является атрибутом нейрона как элемента нейрон- kov Chain) [7, 8]. Эти потоки можно представить в
ной сети. Эти ННС определены в [2, 3] как нечеткие виде последовательно идущих друг за другом кус-
нейронные сети второго типа. В [2, 3] нечеткими ков простейших (пуассоновских) потоков, каждый
нейронными сетями первого типа названы ННС, из которых характеризуется своей интенсивностью
рассмотренные в [4], в которых реализуются нечет- λi прихода событий. Поставим задачу исследования
кие отношения между нейронами как элементами возможности применения ННС второго типа для
нейронной сети, т.е. ННС первого типа реализуют классификации и оценивания интенсивности λi
системы нечеткого логического вывода методами потоков событий. Исследование проведем с помо-
теории нейронных сетей. В [2, 3] показано, что раз- щью средств компьютерного моделирования MAT-
рабатываемые нами модели нечетких нейронов и LAB [9].
нечеткие нейронные сети второго типа успешно ре- Эксперименты по классификации
шают задачи прогнозирования свойств временного интенсивности МС-потоков событий
ряда. В настоящей работе исследуется возможность Эксперименты по нейросетевой классификации
применения ННС второго типа для решения задач МС-потоков событий выполнены на основе ННС,
классификации параметров марковских случайных структура которой может быть представлена в виде
процессов. многослойной однонаправленной сети (рис. 1). ННС
Постановка задачи состоит из входного слоя, одного скрытого слоя и
Пусть λ(t) – кусочно-постоянный случайный выходного слоя. Скрытый слой состоит из 10 нейро-
процесс с двумя состояниями λ(t) = λ1 либо λ(t) = λ2 нов с нечеткими ФА, виды которых для нечетких
(λ1  λ 2 ) . Случайный процесс λ(t) принципиально нейронных сетей второго типа представлены в [2, 3].
не наблюдаем. Время пребывания процесса λ(t) в i-м Из четырех видов нечетких ФА, исследованных в
состоянии является случайной величиной, распреде- [2, 3], выберем два вида ФА (см. на рис. 1 в [2] эти
ленной по экспоненциальному закону с параметрами ФА обозначены через b и c), которые, как показано в
λi (i = 1, 2), т.е. согласно [5] рассматриваемый слу- [2, 3], наиболее эффективно решают задачи прогно-
чайный процесс моделирует MAP-поток (Markovian зирования свойств временного ряда. В выходном
Arrival Process) событий с экспоненциальной функ- слое используется линейная ФА. На входы ННС по-
ций распределения ступают марковские случайные процессы с экспо-
Fi (t )  1  e λit , i  1; 2 . (1) ненциальной функцией распределения (1).

Доклады ТУСУРа, том 20, № 2, 2017


80 УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА
цей-вектором размерности 400 1 , которая состоит
X1 x1 из значений 0 и 1. Значение 0 обозначает, что поток
x2 имеет распределение с параметром λ1  0,25 ; значе-
X2 ние 1 обозначает, что поток имеет распределение с
x3
 параметром λ 2  0,75 .
x4
Алгоритм кластеризации K-средних
XN Для классификации параметров λi (i = 1, 2) слу-
xk чайных процессов предлагается использовать алго-
ритм кластеризации K-средних, который является
простым повторяющимся алгоритмом кластериза-
Рис. 1. Структура сети ции, разделяющим определенный набор данных на
заданное пользователем число кластеров k [10]. Ал-
Марковские случайные потоки событий, посту- горитм K-средних в нашем случае рассматривает
пающие на входы ННС, представляются в виде двух распределение каждого случайного процесса как
последовательно идущих друг за другом кусков точку в функциональном пространстве. Базовый
простейших (пуассоновских) потоков, каждый из алгоритм K-средних произвольно определяет число
которых характеризуется своей интенсивностью λi кластерных центров в многомерном функциональ-
(i = 1, 2) прихода событий. ном пространстве. Каждое распределение в наборе
В данной работе представлены результаты ис- данных присваивается кластеру, произвольный
следования по классификации параметров случай- средний вектор которого является самым близким.
ных потоков на основе трех экспериментов: Процедура продолжается до тех пор, пока не про-
− первый эксперимент: λ1 (0; 0,5] , λ 2 (0,5;1] , изойдет существенного изменения положения сред-
параметры λ1 , λ 2 не фиксированы и не известны; них векторов классов между последовательными
итерациями алгоритмов. Однако алгоритм K-сред-
− второй эксперимент: λ1 (0; 0,5] , λ 2 (0,5;1] , них очень чувствителен в начальных отправных
параметры λ1 , λ 2 фиксированы, но не известны; точках. Алгоритм K-средних генерирует начальный
− третий эксперимент: λ1  0,25 , λ 2  0,75 , т.е. кластер случайным образом. Когда случайные на-
чальные точки близки к окончательному решению,
параметры λ1 , λ 2 фиксированы и известны. алгоритм K-средних имеет высокую вероятность
Наборы данных для обучения HНС обнаружить центр кластера. В противном случае это
В первом эксперименте входными данными яв- приведет к некорректным результатам кластериза-
ляются потоки, состоящие из 1000 случайных про- ции [11].
цессов с параметрами λ(t ) , принимающими значе- В нашей работе начальные точки алгоритма
ния λ  0,001; 0,002;....;1 . То есть входные данные K-средних генерируются случайно и количество
классов равно десяти. Краткое описание алгоритма
можно представить в виде матрицы размерности
K-средних, используемого в данной работе, состоит
1000 1000 . Выходные данные можно представить в
в следующем:
виде матрицы-вектора размерности 1000 1 , элемен-
Шаг 1: случайно выбираются 10 начальных
ты которой имеют только два значения: 0 или 1. Зна- центров кластера из представленных выше наборов
чение 0 обозначает, что классифицируемый поток данных z1 , z2 ,...,z10
имеет распределения с параметрами λ1 из интервала
(0; 0,5], значение 1 обозначает, что классифицируе- za  {xb1 , xb 2 ,..., xbN } ,
мый поток имеет распределения с параметрами λ2 из где a  1; 2...;10 , и b – случайное число от 1 до L,
интервала (0,5; 1]. где L – количество параметров λ в наборе данных;
Во втором эксперименте, входными данными N – количество наблюдаемого времени в распреде-
являются потоки, состоящие из 500 случайных про- лении.
цессов с параметром λ1 (0; 0,5] и 500 случайных Шаг 2: определяются Евклидово расстояние от
процессов с параметром λ 2 (0,5; 1] . Выходные распределения xi , (i 1; 2...; L) до кластера,
данные представляются матрицей-вектором размер- C j ( j 1; 2;...;10) , если xi  z j  xi  z p , p 1; 2;...;10 ,
ности 1000 1 , состоящей из значений 0 и 1. Значе- j  q , тогда xi находится в кластере C j .
ние 0 обозначает, что классифицируемый поток име- Шаг 3: вычисляются новые кластерные центры
ет распределение с параметром λ1 из интервала (0; zi* по формуле
0,5], значение 1 обозначает, что классифицируемый 1
поток имеет распределение с параметром λ2 из ин- zi*   x C x j , ( j 1; 2;...; 10) , (2)
тервала (0,5; 1]. ni j i

В третьем эксперименте входными данными где ni является количеством распределений, при-


являются 200 случайных процессов с параметром надлежащих кластеру Сi .
λ1  0,25 и 200 случайных процессов с параметром Шаг 4: если zi*  zi (i 1; 2;...;10) , тогда останов.
λ 2  0,75 . Выходные данные также являются матри- В противном случае следует перейти к шагу 2.
Доклады ТУСУРа, том 20, № 2, 2017
А.М. Кориков, А.Т. Нгуен. Нечеткая нейросетевая классификация интенсивности марковского случайного потока событий 81
Если имеются ограничения по времени и если Аналогично для ФА вида b f L  x и f R  x оп-
процесс кластеризации не завершается на шаге 4,
ределяются следующим образом:
тогда он выполняется для максимального фиксиро-
2
ванного числа итераций ki . Чем больше ki , тем 1 2 2μ μ  σ  2μ(μ  σ)
f L  x  x  x ,
точнее определяются центры кластеров. σ 2
σ 2
σ2
Настройка функций активации μ  σ  x  μ;
Выше отмечалось, что из четырех видов нечет- (7)
2
ких ФА, исследованных в [2, 3], мы выбрали два 1 2μ μ  σ  2μ(μ  σ)
вида ФА, которые на рис. 1 в [2] обозначены через b f R  x  x 2  x  ,
2 2
σ σ σ2
и c и которые, как показано в [2, 3], наиболее эффек-
тивно решают задачи прогнозирования свойств вре- μ  x  μ  σ.
менного ряда. На рис. 2 показан внешний вид ФА На этой основе получим общее описание
избранных видов c и b [2]. (обобщенная ) ФА вида b:
1 2μ a 2  2μа
f  x f  x f ( x)  x 2  x  , (8)
σ2 σ2 σ2
где a  (μ  σ) если μ  σ  x  μ , и a  (μ  σ) , если
μ  x  μ  σ .
σ μ σ x σ μ σ x Выражения (6) и (8) являются функциями акти-
а б вации, которые используются в ядре нейрона скры-
Рис. 2. Функции активации: а – ФА вида c [2]; того слоя ННС на рис. 1.
б – ФА вида b [2] Вычисление центров и ширины ядра
функций активации
Набор точек А, B,C на рис. 2 являются харак- Как правило, центр и распределение функций
активации нейронов ННС должны иметь характери-
теристическими точками ФА. стики, подобные данным. Для определения центров
Известно, что f L  x , f R  x являются полино- ФА нейронов ННС обычно используются неконтро-
мами второго порядка и f L '( x)  0 , f R '( x )  0 в ха- лируемые учебные процедуры по кластеризации
рактеристических точках, т.е. [10]. В данной работе алгоритм кластеризации
2 2
K-средних используется для определения центра и
f L  x   ai xi f R  x   bi xi . (3) ширины ФА нейронов ННС. Каждый кластер соот-
i 0 i 0 ветствует ядру функций активации. Расположение
Для ФА вида c коэффициенты полино- центров ядра функций активации определяется с
помощью следующего уравнения:
мов f L  x и f R  x задаются следующими выраже-
1 p
ниями: μi  Xj ,
p j 1
(9)
A2 2 A 1
a0  ; a1  ; a2  ;
 A  B 2  A  B 2  A  B2 где μ i является центром i-го нечеткого скрытого
(4) нейрона; p – количество данных в формируемом
C2 2C 1
b0  ; b1  ; b2  . кластере; X j – j-й данный в i-м кластере.
2 2
B  C B  C  B  C 2 Настройка ширины ядра является трудноре-
Зададим AB  BC  σ и B  μ . Тогда f L  x и шаемой проблемой при построении ННС. Если ши-
рина ядра слишком велика, то оцененная плотность
f R  x определяются следующим образом: вероятности сглаживается. Наоборот, когда она
1 2(μ  σ) μ  σ2 слишком мала, может быть чрезмерная адаптация к
f L  x  x2  x ,μ  σ  x  μ; определенному набору данных. Ширина ядра уста-
σ2 σ2 σ2 навливается на среднее расстояние между данными
(5)
1 2μ  σ μ  σ2 соответствующего кластера:
f R  x 
x2  x ,μ  x  μ  σ;
σ2 σ2 σ2 1 p
 и  называются центром и шириной функций
σi   ( X j  μi )2 ,
p j 1
(10)
активации.
Пусть a  (μ  σ) , если μ  σ  x  μ и a  (μ  σ) , где σi является шириной i-го нечеткого скрытого
если μ  x  μ  σ , тогда получим общее описание нейрона; μ i является центром i-го нечеткого скры-
того нейрона; p – количество функциональных
(обобщенная) ФА вида c:
данных в данном кластере. X j – j-й данный в i-м
1 2a a2
f ( x)  x 2  x . (6) кластере. Ширина ядра (10) гарантирует, что от-
σ2 σ2 σ2
Доклады ТУСУРа, том 20, № 2, 2017
82 УПРАВЛЕНИЕ, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И ИНФОРМАТИКА
дельные функции активации не слишком острые кации с помощью ННС процессов по интенсивно-
или/и не слишком плоские. стям λ1 , λ 2 представлены на рис. 3 и 4.
Обучение ННС с использованием тестовых
наборов данных Количество процессов
При построении ННС задача корректировки ве- Набор тест.
ФА вида c
сов сети между скрытым слоем и выходным слоем ФА вида b
может быть отнесена к задачам оптимизации, обыч-
но решаемым методом наименьших квадратов. Веса
ННС между скрытым слоем и выходным слоем рас-
считываются с использованием метода псевдообра-
щения [12, 13].
На рис. 1 X представляет собой входные набо-
ры данных о пространственных входных признаках,
которые представляют собой реализации случайных
процессов. Выход y ННС в наблюдаемый момент
времени j ( j  1; 2; ...; N , N – количество наблюдае-
мого времени) имеет следующий вид:
k
y j   wi f ( xi ), j 1; 2;...; N , (11)
i 1 λ1 Интенсивность λλ2
где wi – вес между выходным нейроном и i-м скры- Рис. 3. Количество процессов с интенсивностями λ1, λ2
в момент времени t = 500 в наборе данных тестирования
тым нейроном; f ( x) – обобщенная ФА; k – число и количество правильных решений при определении
нейронов скрытого слоя. параметров процессов в первом эксперименте
Уравнение (11) можно записать в виде
Y  Φw , (12)
где
 φ1 (μ1 ,σ1 , X1 ) ... φ K (μ K ,σ K , X1 ) 
 ... ... ... 
Φ(μ,σ, X )   φ1 (μ1 ,σ1 , X v ) ... φ K (μ K ,σ K , X v )  ,
 ... ... ... 
φ1 (μ1 ,σ1 , X N ) ... φ K (μ K ,σ K , X N )
v 1; 2;...; N , (13)
φ – функция активации. Матрица Φ (размерность
N  K ) называется выходной матрицей скрытого
слоя нейронной сети; i-я строка Φ является i-м
скрытым выходным нейроном относительно входов
X1 , X 2 ... X N .
Пусть T – матрица выходных данных обучения.
Если Φw  T , то выходные весы w вычисляются по
формуле
w  (Φ T Φ )  1 Φ T T , (14) Рис. 4. Эффективность классификации по интенсивности
T 1 T
где (Φ Φ) Φ является обобщенной псевдооб- марковских случайных потоков событий
в первом эксперименте
ратной выходной матрицей Мура–Пенроуза скрыто-
го слоя. Во втором эксперименте набор данных для тес-
Итак, основные параметры ННС определяются тирования состоял из 400 случайных процессов с
путем вычисления центров и ширины с использова- параметром λ1  0,25 и 400 случайных процессов с
нием алгоритма кластеризации K-средних и опреде-
параметром λ 2  0,75 . Эффективность классифика-
ления весов выходного слоя ННС с использованием
метода псевдообращения. ции этих процессов по интенсивности λ1 , λ 2 во
Результаты тестирования втором эксперименте практически равна 100%.
Эксперименты проводились на базе процессора В третьем эксперименте наборы данных для
Core i5-4460 3,2 ГГц с 8 ГБ ОЗУ под MATLAB тестирования состояли из 400 случайных процессов
R2013a. Графики генерировались с использованием с параметром λ1  0,25 и 400 случайных процессов с
MATLAB.
параметром λ 2  0,75 . Эффективность классифика-
В первом эксперименте наборы данных для тес-
тирования состояли из 400 случайных процессов ции этих процессов по интенсивности λ1 в третьем
λ* (t ) , λ*  0,001; 0,001;....;1 . Результаты классифи- эксперименте также практически равна 100%.

Доклады ТУСУРа, том 20, № 2, 2017


А.М. Кориков, А.Т. Нгуен. Нечеткая нейросетевая классификация интенсивности марковского случайного потока событий 83
Анализ результатов экспериментов показывает, С.С. Катаева, Д.Ю. Кузнецов // Вестник Том. гос. ун-та.
что разрабатываемые нами модели нечетких ней- Приложение. – 2005. – № 14. – С. 248–253.
ронных сетей вполне успешно решают задачи клас- 9. Attaway S. MATLAB: A Practical Introduction to
сификации по интенсивности марковских случай- Programming and Problem Solving. – Third Edition. – Bur-
lington, MA: Elsevier Inc., 2013. – 539 p.
ных потоков событий. При решении подобных задач 10. Пирсон Л. Наука данных для чайников. – М.:
ННС с ФА вида b имеют более высокую эффектив- Джон Уайли & сыновья, 2015. – 408 c.
ность. В условиях первого и второго экспериментов 11. Wu Z. An Optimal Graph Theoretic Approach to Da-
продолжительность времени наблюдения за процес- ta Clustering: Theory and Its Application to Image Segmenta-
сами не влияет на качество их классификации. В tion / Z. Wu, R.M. Leahy // IEEE Transactions on pattern
третьем эксперименте при использовании ННС с ФА analysis and machine intelligence. – 1993. – Vol. 15, № 11. –
вида c продолжительность времени наблюдения за P. 1101–1113.
процессами незначительно влияет на результаты 12. Wettscherech D. Improving the Performance of Ra-
классификации. dial Basis Function Networks by Learning Center Locations /
D. Wettscherech, T. Dietterich // Electronic Proceedings of the
Заключение Neural Information Processing Systems Conference. – 1991. –
Результаты исследования подтверждают эффек- № 4. – P. 1133–1140.
тивность применения моделей нечетких нейронных 13. Сараев П.В. Использование псевдообращения в
сетей, в которых нечеткие функции принадлежности задачах обучения искусственных нейронных сетей //
используются в качестве функций активации нейро- Электронный журнал «Исследовано в России». – 2001. –
нов ННС, для решения задач классификации интен- № 29. – С. 308–317.
сивности марковских случайных потоков событий.
На основе проведенного исследования возможно
создание нечеткого нейросетевого классификатора
__________________________________________________
интенсивности марковских случайных потоков со-
бытий для решения многих прикладных задач в
транспортных системах, системах связи и компью- Кориков Анатолий Михайлович
терных сетях. Д-р техн. наук, проф., зав. каф. АСУ ТУСУРа,
профессор Национального исследовательского
Литература Томского политехнического университета (НИ ТПУ)
1. Рассел С. Искусственный интеллект: современный Тел.: +7 (382-2) 41-42-79
подход / С. Рассел, П. Норвиг. – М.: Вильямс, 2006. – 1408 с. Эл. почта: korikov@asu.tusur.ru
2. Нгуен А.Т. Модель нейронной сети с нечеткими
функциями активации для прогнозирования временного Нгуен Ань Ту
ряда / А.Т. Нгуен, А.М. Кориков // Доклады ТУСУРа. – Аспирант каф. автоматики и компьютерных систем
2016. – Т. 19, № 4. – С. 50–52. (АиКС) Института кибернетики НИ ТПУ
3. Nguyen A.T. Models of neural networks with fuzzy Тел.: +7-952-157-48-78
activation functions / A.T. Nguyen, A.M. Korikov // IOP Con- Эл. почта: nguyenanhtu@tpu.ru
ference Series: Materials Science and Engineering. – 2017. –
Vol. 177 [Электронный реcурс]. – Режим доступа:
http://iopscience.iop.org/article/10.1088/1757-899X/177/1/ Korikov A.M., Nguyen A.T.
012031, свободный (дата обращения: 01.03.2017). Fuzzy neural network for Markovian arrival processes’
4. Ярушкина Н.Г. Нечеткие нейронные сети с гене- intensity classification
тической настройкой // Научная сессия МИФИ–2004.
VI Всерос. науч.-техн. конф. «Нейроинформатика–2004»: The paper studies the applications of fuzzy neural networks
лекции по нейроинформатике. – Ч. 1. – М.: Изд-во МИФИ, that use membership functions as activation functions to solve
2004. – С. 151–199. the problems of classification and estimation of Markov
5. Дудин А.Н. Системы массового обслуживания с arrival processes’ intensity. Computer simulation tools in
коррелированными потоками / А.Н. Дудин, В.И. Кли- MATLAB are used for this research. Markov arrival processes
менок. – Минск: Изд-во БГУ, 2000. – 175 с. are represented by two successive simple (Poisson) processes,
6. Гнеденко Б.В. Введение в теорию массового об- each of which is characterized by the intensity of event arrival.
служивания / Б.В. Гнеденко, И.Н. Коваленко. –3-е изд., Using neural networks, we can obtain the solutions to
испр. и доп. – М.: КомКнига, 2005. – 400 с. dichotomy problems, including the classification and
7. Горцев А.М. О связи МС-потоков и МАР-потоков estimation of the intensity of the two Poisson processes.
событий / А.М. Горцев, Л.А. Нежельская // Вестник Том. Computer modeling has confirmed the effectiveness of the
гос. ун-та. Управление, вычислительная техника и инфор- classification problem for the intensity of Markovian arrival
матика. – 2011. – № 1 (14). – С. 13–21. processes based on neural networks.
8. Беккерман Е.Н. Аппроксимация МС-потоком ре- Keywords: Fuzzy activation functions, Fuzzy neural net-
ального потока событий / Е.Н. Беккерман, С.Г. Катаев, works, Markovian arrival processes, intensity classification.

Доклады ТУСУРа, том 20, № 2, 2017