Вы находитесь на странице: 1из 5

goikhman 6/29/16 2:04 PM Page 36

36
РЕШЕНИЯ КОРПОРАТИВНОГО КЛАССА

УДК 004.72.032.26

Построение архитектуры
нейронной сети
для выявления вида распределения
случайных величин
Development of the neural network’s architecture for identifying type of distribution of random variables

Введение
Сегодня нейронные сети успешно и
широко применяются в различных
сферах деятельности: медицине, эко-
номике, связи, робототехнике и др.
[1]. Одной из задач, решаемой с помо-
щью нейронной сети, является задача
классификации. Характерный пример
решения этой задачи – распознавание
образов, нашедшее применение в рас-
познавании рукописного текста [2],
дорожных знаков [3] и т.д. В настоя-
щее время на нейронных сетях созда-
ны системы, которые могут распозна-
Вадим Гойхман Алиса Лапий вать речь [4].
Динамика развития инфокоммуни-
К.т.н., доцент кафедры Бакалавр факультета кационных сетей приводит к ради-
инфокоммуникационных инфокоммуникационных кальному изменению структуры тра-
систем СПбГУТ систем и сетей, кафедра фика. В настоящее время существует
им. проф. М.А. Бонч-Бруевича инфокоммуникационных систем множество подходов к анализу тра-
СПбГУТ фика, но нет однозначного представ-
Vadim Goikhman им. проф. М.А. Бонч-Бруевича ления о том, какими распределения-
Ph.D, senior lecturer, The Bonch- ми вероятностей он описывается.
Alisa Lapiy
Bruevich Saint-Petersburg State Реальный трафик сети доступен в
University of Telecommunications Bachelor The Bonch-Bruevich виде статистических данных о нем.
Saint-Petersburg State University Для исследования инфокоммуника-
of Telecommunications ционных сетей нужны адекватные
методы моделирования реального

В
статье рассматриваются вероятностных распределений, трафика, для этого необходимо по
вопросы создания нейронной построенных на случайном аргу- статистическим данным выявить
сети, предназначенной для менте и с зашумленными значе- характеристики реального трафика.
классификации распределений ниями. Проанализированы воз- Одним из инструментов решения
случайных величин. Представле- можности нейронной сети клас- данного вопроса являются нейро-
ны результаты тестирования сифицировать распределения нные сети. Так как нейронные сети
нейронной сети при подаче при уменьшении аргумента, интенсивно используются в задачах
на котором были построены эти классификации, представляется воз-
Ключевые слова: распределения. можным разработать архитектуру
нейронной сети для определения

P
нейронные сети, классификация roblem of the creation of the вероятностных распределений.
трафика, архитектура нейронной neural network for classifica- Наиболее изучены подходы при
сети, распределение случайных tion of distribution of random оценке телефонного трафика в систе-
величин, тестирование variables is considered. A neural мах с коммутацией каналов [5]. Опи-
нейронной сети network test results when applying сание моделей потоков в классиче-
probability distributions built on a ских телефонных сетях преимуще-
Keywords: random argument and noisy values ственно производилось при помощи
are presented. The possibilities of распределения Пуассона [6]. Подходы
neural network, traffic classification, the neural network to the classifi- к решению задач оценки нагрузки на
the architecture of the neural net- cation by reducing the argument, сеть основаны на теории Эрланга,
work, distribution of random variable, on which the distribution was built, которая применима и к пакетным
testing the neural network are analyzed. сетям [7]. Наиболее распространен-

ТЕХНОЛОГИИ И СРЕДСТВА СВЯЗИ n № 3 июнь 2016


goikhman 6/29/16 2:04 PM Page 37

37
РЕШЕНИЯ КОРПОРАТИВНОГО КЛАССА

состоящий из 100 отсчетов. В качестве


целевого вектора обучения выбрана
матрица 6х6 с единицами в главной
диагонали. Каждый вектор столбец
данной матрицы "кодирует" одно из
известных распределений. В качестве
функции активации выходного слоя
выбрана функция Softmax. Данная
функция позволяет вычислить выход-
ные значения по входным, при этом
значения на выходе лежат в диапазоне
от 0 до 1 и представляют собой
Рис. 1. Вероятность ошибки (%) Рис. 2. Вероятность ошибки (%) величины вероятности принадлежно-
распознавания распределения распознавания распределения сти входного сигнала одному из клас-
при изменении количества ней- при изменении при обучении сов. Соответственно, на выходе сеть
ронов в одном промежуточном на идеальных последовательно- возвращает вектор-столбец, состоя-
слое при обучении на идеаль- стях щий из 6 строк, каждая строка кото-
ных последовательностях рого показывает, с какой веро-
ятностью поданная на вход функция
соответствует каждой из известных.
В качестве критерия успешности
распознавания принято, что если
значение в одной строке превышает
0,8, то считается, что сеть отнесла
входные значения к данному распре-
делению.
Необходимо подобрать архитектуру
сети (количество слоев, количество
нейронов в слое и количество выборок
обучения) так, чтобы сеть правильно
распознавала распределение, подавае-
Рис. 3. Вероятность ошибки (%) распо- Рис. 4. Вероятность ошибки (%) распо- мое на вход. Для каждой функции на
знавания распределения знавания распределения при каждом этапе было проведено 100 экс-
при изменении при обучении изменении количества проме- периментов. Под одним эксперимен-
на идеальных последовательно- жуточных слоев при обучении том подразумевается подача на вход
стях на зашумленных последова- нейронной сети одной из известных
тельностях функций с зашумленными значения-
ми.
ными распределениями, описываю- инструмента для работы с нейронны- На первом этапе происходил
щими поведения трафика NGN-сетей, ми сетями была выбрана программа выбор подходящего количества ней-
являются распределения Парето, Вей- Matlab. С инструментария данной ронов в одном скрытом слое путем
булла и логнормальное [8, 9, 10]. Тра- программы можно создавать, обучать, увеличения от 10 до 130 с шагом 20.
фик на малых интервалах функцио- использовать сеть, а также варьиро- Обучение нейронной сети происхо-
нирования может быть описан при вать ее параметры. дило на матрице неискаженных
помощи гиперэкспоненциального рас- В целях ознакомления с возможно- значений выбранных функций. На
пределения [11]. стями нейронных сетей в области рис. 1 показан график зависимости
В связи с этим для исследования классификации построим нейронную вероятности ошибки (в %) распозна-
было выбрано 6 вероятностных рас- сеть, позволяющую распознавать одну вания вектора на входе нейронной
пределений – распределение Пуассо- из следующих функций: y1 – распре- сетью при увеличении числа нейро-
на, нормальное распределение, лог- деление Пуассона, y2 = x.^2, y3 = x, нов в скрытом слое. По данным,
нормальное распределение, распреде- y4 = sin(x), y5 = cos(x), y6 – вектор полученным в ходе эксперимента,
ление Вейбулла, распределение Паре- нулей. можно отметить, что при 30 нейронах
то и гиперэкспоненциальное распре- Одной из основных проблем при в одном промежуточном слое наблю-
деление. Целью работы является соз- создании нейронной сети является дается падение вероятности ошибоч-
дание нейронной сети для выявления выбор ее архитектуры, а именно под- ного распознавания, и данная веро-
вероятностных распределений. бор параметров, таких как количество ятность принимает минимальное
слоев, количество нейронов в слое, значение для большинства зависи-
Разработка нейронной сети количество обучающих выборок. Для мостей. Дальнейшее увеличение
Для реализации нейронных сетей решения поставленной задачи будем числа нейронов приносит уменьше-
существуют различные программные постепенно увеличивать значения ние вероятности ошибочного распо-
средства: Matlab, Python, RStudio, данных параметров и опытным путем знавания только для распределения
C++ и др. подбирать подходящую структуру Пуассона и последовательности,
В связи с удобным графическим сети. состоящей из нулей, когда для
интерфейсом и необходимыми Создана сеть, на вход которой пода- остальных функций вероятность
встроенными функциями в качестве ется вектор значений функций, ошибки увеличивается.

№ 3 июнь 2016 n ТЕХНОЛОГИИ И СРЕДСТВА СВЯЗИ


goikhman 6/29/16 2:04 PM Page 38

38
РЕШЕНИЯ КОРПОРАТИВНОГО КЛАССА

неверной классификации нейронной жуточных слоев, каждый из которых


сетью примерно на 30% для большин- содержит 70 нейронов. Выходной
ства зависимостей при 70 нейронах слой содержит 6 нейронов, что соот-
в одном скрытом слое. Дальнейшее ветствует количеству классов, к кото-
увеличение числа нейронов в проме- рым мы относим значения на входе
жуточном слое преимущественно при- сети. Обучение нейронной сети про-
водит к увеличению вероятности ходит в две стадии, описанные на
ошибки распознавания нейронной третьем этапе, но при этом будет уве-
сети. личиваться количество обучающих
На четвертом этапе рассматривает- последовательностей от 5 до 75 видов.
ся зависимость качества распознава- На рис. 5 показан график зависимости
ния нейронной сетью входного векто- вероятности ошибки (в %) распозна-
Рис. 5. Вероятность ошибки (%) распо- ра при обучении сети на матрице вания вектора на входе нейронной
знавания распределения, при с зашумленными значениями и уве- сетью при увеличении числа иска-
увеличении числа видов зашум- личении скрытых слоев от 1 до 10. женных последовательностей при
ленных последовательностей Основываясь на результатах преды- обучении нейронной сети. Из полу-

На втором этапе происходил выбор


подходящего количества промежуточ- В настоящее время существует множество подходов к анализу трафика, но
ных слоев путем увеличения от 1 до нет однозначного представления о том, какими распределениями вероятно-
10. Число нейронов в слое, опираясь стей он описывается. Реальный трафик сети доступен в виде статистических
на предыдущий этап, выбрано 30. данных о нем. Для исследования инфокоммуникационных сетей нужны адек-
Обучение нейронной сети происхо- ватные методы моделирования реального трафика, для этого необходимо по
дило на матрице неискаженных значе- статистическим данным выявить характеристики реального трафика. Одним
ний выбранных функций. На рис. 2 из инструментов решения данного вопроса являются нейронные сети.
показан график зависимости веро-
ятности ошибки (в %) распознавания
вектора на входе нейронной сетью,
при увеличении числа промежуточ-
ных слоев сети. По данным, получен-
ным в ходе эксперимента, можно
отметить, что увеличение числа про-
межуточных слоев нейронной сети
ведет к увеличению вероятности оши-
бочной классификации вектора на Рис. 6. Схема построенной нейронной сети
входе нейронной сетью. Более того,
увеличение промежуточных слоев
значительно увеличивает время дущего этапа, каждый промежуточ- ченных в ходе опыта данных можно
обучения нейронной сети. ный слой содержит 70 нейронов. На сделать вывод, что увеличение выбор-
На третьем этапе рассматривается рис. 4 показан график зависимости ки для обучения нейронной сети
зависимость качества распознавания вероятности ошибки (в процентах) значительно уменьшает вероятность
нейронной сети при ее обучении на распознавания вектора на входе ней- ошибочного распознавания на входе.
матрице с зашумленными значениями ронной сетью при увеличении числа По характеру графиков можно сде-
целевых зависимостей при изменении скрытых слоев, при обучении сети на лать предположение, что дальнейшее
числа нейронов в одном скрытом слое, искаженных значениях исходных увеличение обучающих последова-
путем увеличения от 10 до 130 с функций. По результатам экспери- тельностей окажет положительный
шагом 20. Обучение производится на мента можно отметить, что при результат на классификацию нейронной
5 видах каждой из зашумленных 7 скрытых слоях вероятность ошибки сетью. Так же можно предположить,
функций и закрепляется на функциях распознавания для всех классов стала что увеличение обучающей выборки
с неискаженными значениями. На меньше 60%, а для распределения позволит уменьшить количество про-
рис. 3 показан график зависимости Пуассона меньше – 10%. При даль- межуточных слоев и нейронов в каж-
вероятности ошибки (в %) распозна- нейшем увеличении промежуточных дом слое.
вания вектора на входе нейронной слоев наблюдается рост вероятности
сетью, при увеличении числа нейро- ошибочной классификации нейронной Методы тестирования
нов в скрытом слое, при обучении сетью. Опираясь на результаты, получен-
сети на искаженных последователь- На пятом этапе рассматривается ные в предыдущих экспериментах,
ностях исходных функций. По резуль- зависимость качества распознавания была создана сеть, которая содержит
татам эксперимента можно заметить, нейронной сетью входного вектора два промежуточных слоя и один
что по сравнению с обучением ней- при обучении сети на матрице с выходной слой (см. рис. 6). Первый
ронной сети на неискаженных после- зашумленными значениями целевых промежуточный слой имеет 30 нейро-
довательностях обучение с зашумлен- зависимостей и увеличении искажен- нов, второй промежуточный слой –
ными последовательностями несколь- ных последовательностей при обуче- 10 нейронов, выходной слой – 6 ней-
ких видов и закреплением обучения нии. ронов. Обучение нейронной сети про-
на незашумленных последовательно- По результатам предыдущих этапов водится на зашумленных значениях
стях снижает вероятность ошибки создана сеть, состоящая из 7 проме- известных распределений, построен-

ТЕХНОЛОГИИ И СРЕДСТВА СВЯЗИ n № 3 июнь 2016


goikhman 6/29/16 2:04 PM Page 39

39
РЕШЕНИЯ КОРПОРАТИВНОГО КЛАССА

ных на аргументе, сформированном тор, состоящий из 6 значений, и в i-й распознавания. Вероятность на чет-
случайным образом на интервале строке выходного вектора имеем наи- вертом выходе при тестировании
[0:3000]. Обучающая выборка содер- большую вероятность. Если i = k, то распределения Вейбулла не была
жит около 10 тыс. распределений каж- необходимо убедиться, что веро- максимальной, что означает, что
дого типа. В результате обучения сеть ятность на i-м выходе превышает 0,8. построенная нейронная сеть не смог-
должна не просто запомнить и сопо- При соблюдении данного условия ла корректно классифицировать рас-
ставить значения входного вектора с считается, что сеть корректно распо- пределение Вейбулла при заданных
выходным, а выявить взаимосвязь знала распределение, поданное на параметрах.
между обучающими последователь- вход. Если вероятность на i-м выходе На втором этапе на обученную ней-
ностями. менее 0,8 или значения i и k вовсе не ронную сеть поочередно подаются
На выходе нейронная сеть возвра- совпадают, необходимо произвести значения каждого из распределений,
щает вектор, состоящий из 6 значе- корректировку элементов нейронной построенных на аргументе, сформи-
рованном случайным образом, чтобы
проверить, что сеть не просто запом-
нила значения, подаваемые на ее вход
при обучении, но и смогла выявить
зависимости между ними. В резуль-
тате выявлено, что нейронная сеть
успешно классифицирует нормальное
распределение, распределение Парето
и гиперэкспоненциальное распреде-
ление, на выходах, соответствующих
каждому из классов исследуемых рас-
пределений, наблюдалась вероятность
более 0,86. Для распределения Вей-
булла и логнормального распределе-
ния наблюдался результат, повторяю-
щий итоги тестирования нейронной
сети на первом этапе. В связи с
ограниченными программными воз-
можностями не удалось провести ана-
лиз распознавания сетью с распреде-
ления Пуассона.
На третьем этапе на нейронную сеть
поочередно подаются значения каж-
дого из распределений, построенных
на аргументе, сформированном слу-
чайным образом, а также значения
Рис. 7. Схема построенной нейронной сети самого распределения зашумлены.
Тестирование показало, что нейронная
ний. Каждое значение в данном век- сети или увеличить выборку при сеть успешно распознает нормальное
торе соответствует одному из извест- обучении нейронной сети. распределение, распределение Парето
ных распределений и показывает, с На первом этапе на обученную и гиперэкспоненциальное распреде-
какой вероятностью распределение на нейронную сеть поочередно подают- ление, на выходах, соответствующих
входе соответствует каждому из ся вектора каждого из распределе- каждому из классов исследуемых рас-
шести классов, уже знакомых нейро- ний, построенных на аргументе, пределений, наблюдалась вероятность
нной сети. Считается, что сеть кор- изменяющемся с определенным более 0,8. Для распределения Вейбул-
ректно распознала вектор, поданный шагом, и неискаженные шумом. В ла и логнормального распределения
на ее вход, если вероятность на одном ходе эксперимента было выявлено, наблюдался результат, повторяющий
из выходов превышает 0,8. что нейронная сеть успешно распо- итоги тестирования нейронной сети
Для проверки работоспособности знает распределение Пуассона, нор- на первом этапе.
данной сети необходимо произвести мальное распределение, распределе- Одним из важных аспектов при рас-
ее тестирование, которое будет осу- ние Парето и гиперэкспоненциаль- познавании является количество
ществляться в 3 этапа по алгоритму, ное распределение. На выходах, значений, которое необходимо подать
представленному на рис. 7. соответствующих каждому из клас- на вход нейронной сети для получе-
Имеется ряд распределений Yk, где сов исследуемых распределений, ния корректного результата. Умень-
k = 1, 2 ... 6 (1 – распределение Пуас- наблюдалась вероятность более 0,97. шение выборки, подаваемой на ней-
сона, 2 – нормальное распределение, Однако сеть не справилась с класси- ронную сеть, позволит уменьшить
3 – логнормальное распределение, 4 – фикацией логнормального распреде- ресурс, необходимый для эффектив-
распределение Вейбулла, 5 – распре- ления и распределения Вейбулла. ного распознавания вероятностных
деление Парето, 6 – гиперэкспонен- Вероятность на третьем выходе при распределений, что может привести к
циальное распределение). Из имею- тестировании логнормального рас- сокращению времени работы сети.
щихся распределений выбирается рас- пределения была максимальной, но Обучение и тестирование нейронной
пределение k и подается на вход ней- составляла 0,65, что не соответствует сети производилось на аргументе из
ронной сети. На выходе получаем век- поставленным критериям успешного диапазона [0:3000]. Постепенное

№ 3 июнь 2016 n ТЕХНОЛОГИИ И СРЕДСТВА СВЯЗИ


goikhman 6/29/16 2:04 PM Page 40

40
РЕШЕНИЯ КОРПОРАТИВНОГО КЛАССА

уменьшение данного диапазона поз- для обучения нейронная сеть должна подаваемых на ее вход. Уменьшение
волит понять, на сколько можно обнаружить и запомнить зависимости выборки, подаваемой на нейронную
уменьшить количество данных, пода- между входными сигналами и тре- сеть, позволит сократить время рабо-
ваемых на вход нейронной сети, при буемыми ответами. Возможно, уве- ты и обучения сети.
условии, что сеть будет корректно их личение обучающих последователь- В дальнейшем на созданную и
классифицировать. ностей позволит снизить количество обученную нейронную сеть можно
В таблице приведены значения нейронов и скрытых слоев в сети, так подавать не только зашумленные
вероятности на выходе, которые соот- как сеть будет обладать достаточным последовательности уже известных
ветствуют распределению, поданному количеством обучающих примеров распределений, но также неизвестные
на вход нейронной сети, если значе- для обобщения их свойств при малом последовательности, например значе-
ния данного распределения подава- количестве связей. Однако стоит учи- ния трафика, и относить их с некой
лись на вход неискаженными и были тывать, что при увеличении выборки вероятностью к распределениям,
сформированы на случайном аргумен- обучения значительно возрастает которые имеются в "памяти" нейро-
те. В процессе исследования было время обучения. нной сети.
После проведения подобных иссле-
дований с различными видами эта-
Таблица. Значения вероятности в строке выходного вектора нейронной лонного трафика и статистическими
сети при уменьшении диапазона аргумента данными с различных характерных
Диапазон x источников можно будет определить
Распределение [0:3000] [0:2000] [0:1000] [0:500] [0:100] [0:50] [0:10] характер и закон распределения
на входе сети реального трафика и осуществить его
Нормальное 0,9986 0,9835 0,0000 0,0000 0,0000 0,0000 0,0000 моделирование. n
Парето 0,9805 0,9742 0,9533 0,7943 0,0199 0,0040 0,0003
Гиперэкспоненциальное 0,9922 0,9925 0,9924 0,9924 0,9927 0,9927 0,9925 Литература
1. Комашинский, Смирнов Д.А., Нейронные сети и их
выявлено, что для распознавания нор- Тестирование показало, что нейронная применение в системах управления и связи / Горячая
мального распределения построенной сеть устойчиво классифицирует нор- линия-Телеком. – 2003. С. – 94.
нейронной сетью необходимы значе- мальное распределение, распределе- 2. Christopher M. Bishop. Neural Networks for Pattern
ния аргумента не менее 2000, в про- ние Парето и гиперэкспоненциальное Recognition. Clarendon press Oxford. 1995.
тивном случае сеть перестает успешно распределение на всех этапах. На 3. Ciresan D., Meier U., Masci J and Schmidhuber J.
классифицировать нормальное рас- выходах, соответствующих каждому Multi-column Deep Neural Network for Traffic Sign Classi-
пределение. Для корректного распо- из классов исследуемых распределе- fication. Neural Networks. Vol. 34. August 2012. Р. 333 –
знавания распределения Парето ний, наблюдалась вероятность более 338.
необходимо не менее 500 значений. 0,8. Но построенная сеть не справи- 4. Hinton G., Deng L., Yu D., Dahl G., Mohamed A., Jaitly
Гиперэкспоненциальное распределе- лась с классификацией логнормаль- N., Senior A., Vanhoucke V., Nguyen P., Sainath T. and
ние распознавалось построенной ней- ного распределения и распределения Kingsbury B. Deep Neural Networks for Acoustic Modeling
ронной сетью при уменьшении диа- Вейбулла. Возможно, это связано с in Speech Recognition. IEEE Signal Processing Magazine.
пазона аргумента до 10. тем, что данные распределения рас- Vol. 29. No. 6. – 2012. P. 82 – 97.
сматривались при параметрах, когда 5. Чивилев С. Все о теории Эрланга. Как рассчитать
Анализ результатов их максимальные значения были количество каналов базовой радиостанции // Техно-
Опытным путем было установлено, близки к нулю и были мало различи- логии и средства связи. № 2. – 2008. С. 72–73.
что увеличивать число промежуточ- мы на фоне остальных распределе- 6. Степанов С.Н. Основы телетрафика мультисервис-
ных слоев и количество нейронов в ний. ных сетей. – М.: Эко-Трендз. – 2010. С. 392.
каждом из них можно до определен- Выявлены границы распознавания 7. Иванов А.. Анализ пропускной способности систем
ного порога. Дальнейшее увеличение вероятностных распределений подвижной радиосвязи в режиме "речь – данные" //
данных параметров приводит к явле- построенной нейронной сети для трех Технологии и средства связи. № 5. – 2008. С. 54–58.
нию "переобучения" нейронной сети – распределений, успешно прошедших 8. Агеев Д.В. Методика определения параметров пото-
сеть перестает быть гибкой и прини- тестирование: нормального распреде- ков на разных участках мультисервисной телекомму-
мает неверные решения в ходе сравне- ления, распределения Парето и гипер- никационной сети с учетом эффекта самоподобия /
ния и подстройки весов. Увеличение экспоненциального распределения. Д.В. Агеев, А.А. Игнатенко, А.Н. Копылев // Проблеми
количества элементов сети приводит телекомунікацій. – № 3 (5). – 2011. С. 18–37.
к увеличению количества связей Заключение 9. Савченко А.С. Информационно-энтропийный подход
между ними. Считается, что сети Одной из основных задач при рабо- к оценке производительности компьютерных сетей
с большим количеством связей моде- те с нейронными сетями является пра- с разнородным трафиком // Наукові записки Українсь-
лируют более сложные функции, вильное построение архитектуры кого науководослідного інституту зв’язку. – 2014. –
которые подстраиваются под обучаю- сети. В ходе исследования происходил №. 1. С. 44–50.
щие примеры, и сеть теряет способ- анализ влияния параметров сети на 10. Гольдштейн Б. С., Соколов Н. А., Яновский Г.Г.
ность к обобщению. ее способности к классификации. Сети связи / СПб.: "БХВ – Петербург". – 2010. С. 400.
Увеличение числа последователь- Тестирование нейронной сети позво- 11. Ложковский А. Г. Модель трафика в мультисер-
ностей для обучения позволяет ляет выявить ее слабые стороны и висных сетях с коммутацией пакетов // Наукові праці
уменьшить ошибку распознавания определить дальнейший путь коррек- ОНАЗ ім. О. С. Попова. – 2010.
нейронной сетью распределений, тировки параметров.
подаваемых на ее вход. При достиже- Для получения корректного резуль- Ваше мнение и вопросы по статье
нии определенного количества тата от нейронной сети необходимо присылайте по адресу
зашумленных последовательностей определить количество значений,

ТЕХНОЛОГИИ И СРЕДСТВА СВЯЗИ n № 3 июнь 2016