ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное
учреждение высшего образования
«Национальный исследовательский Нижегородский государственный
университет им. Н.И. Лобачевского»
Исполнитель:
студент 4 курса Акулинин Г.С.
Научный руководитель:
Доцент кафедры ММЭП,
к.ф.-м.н., доцент Перова В.И.
2
Содержание
Аннотация................................................................................................................2
Содержание..............................................................................................................3
Введение...................................................................................................................4
Глава 1. Обзор литературы.....................................................................................5
Глава 2. Нейронные сети. Их возможности и практическое применение.........7
2.1. Нейронные сети.............................................................................................7
2.2. Структура искусственного нейрона............................................................9
2.3. Топология и виды нейронных сетей..........................................................10
2.4. Способы обучения нейронных сетей........................................................11
Глава 3. Анализ результатов работы нейронной сети по моделированию
динамики инновационного развития регионов России.....................................13
Заключение............................................................................................................22
Список литературы...............................................................................................23
Приложение №1.....................................................................................................24
3
Введение
4
Глава 1. Обзор литературы
6
Глава 2. Нейронные сети. Их возможности и практическое
применение
7
избежать система должна иметь довольно стабильные основные
параметры.
3. Отказоустойчивость. Нейронные сети в электронике, имеют
большой потенциал отказоустойчивости. Из этого следует, что в
неблагоприятных условиях производительность искусственных
нейронных сетей падает незначительно. В случае если какой-то
нейрон оказывается поврежденным, то передача информации
затрудняется, однако информация хранится довольно
распределено, поэтому только глобальные повреждения
структуры искусственной нейронной сети могут повлечь
существенное уменьшение работоспособности сети.
4. Масштабируемость. Нейронные сети имеют параллельную
структуру, а это в свою очередь имеет потенциал к увеличению
скорости решения задач и дает возможность масштабируемости
нейронных сетей в рамках технологии very-large-scale-integrated
(VLSI).
5. Отображение входной информации в выходную. Существует
несколько парадигм обучения нейронных сетей и довольно
популярным является обучение с учителем. В таком обучении
происходит установка и коррекция синаптических весов на
основе так называемых учебных примеров, которые содержат
информацию о входном сигнале и желаемом отклике на этот
сигнал. Через нейронную сеть пропускается случайно выбранный
пример и сеть проводит модернизацию синаптических весов для
получения результата, максимально приближенного к желаемому.
Данная процедура (обучение нейронной сети) проводится до
такой степени соответствия синаптических весов, чтобы их
изменения после очередного примера были минимальными. Так,
нейронная сеть, обучаемая с учителем, формирует соответствия
вход-выход для той задачи, решение которой требуется.
6. Очевидность ответа. Если поднимается вопрос о решении задачи
классификации образов, то существует возможность
использования нейронной сети. В таком случае искусственная
нейронная сеть будет использоваться для сбора информации для
определения принадлежности к конкретному классу, а также для
увеличения уровня достоверности итогового решения. К тому
данная информация может быть использована для повышения
продуктивности нейронной сети, путем исключения
сомнительных и неточных решений.
7. Контекстная информация. Существование нейронной сети
связано с контекстной информацией. Это является следствием
того, что каждый нейрон в сети может быть склонен к влиянию
остальных нейронов сети. А знания представляются в структуре
искусственной нейронной сети с помощью состояния активации.
8
8. Единообразие анализа и проектирования. Так как одно решение
искусственной нейронной сети может быть использовано в
нескольких предметных областях, то можно утверждать, что
нейронные сети являются универсальным механизмом обработки
любой информации. Данное свойство можно определить
несколькими способами. Во-первых, в любой нейронной сети
составными частями в той или иной форме являются нейроны.
Во-вторых, общность сетей позволяет использовать одинаковые
алгоритмы обучения и теории для разных нейросетевых решений.
9. Аналогия с нейробиологией. Строение искусственных нейронных
сетей по своей сути определяется по аналогии с живыми
системами, в частности используется человеческий мозг. При
этом нейробиологи часто для моделирования физических явлений
обращаются к инструментарию искусственных нейронных сетей.
9
Сам нейрон состоит из трех основных составляющих. Это набор связей
или синапсов, сумматор и функция активации.
Каждая связь (или синапс) имеет свой личный синаптический вес или
коэффициент ( wi ), который влияет на компоненты входного сигнала ( X i ).
Величина этого коэффициента может принимать как положительное, так и
отрицательное значение. Следствием этого являются наименования
синаптических связей. Положительные являются «возбуждающими», а
отрицательные «тормозящими» соответственно.
Все входные сигналы, подверженные влиянию своего синаптического
веса, необходимо сложить, этим занимается сумматор ( Σ ).
В конце над результатом суммирования ( S ) производится
преобразование функцией активации ( f ). Данный элемент искусственного
нейрона также можно назвать передаточной функцией или функцией сжатия.
Функция активации работает с выходным сигналом нейрона, ограничивая его
амплитуду.
В свою очередь нейроны разделяются на 3 типа:
Входные нейроны. Именно на эти нейроны искусственной
нейронной сети подается входной сигнал, который содержит в
себе образ внешней среды. В таких нейронах обычно не
производятся вычислительные действия.
Выходные нейроны. Выход нейросети представляется именно
этими нейронами, а точнее выходными значениями этих
нейронов.
Промежуточные нейроны. Данный вид нейронов составляет
основу всей искусственной нейронной сети. Именно в них
производятся вычислительные процедуры.
11
сетям и мог бы называться универсальным не существует. Есть только
алгоритмы, которые ориентированы на конкретные типы нейронных сетей и
задачи, которые необходимо решить.
В тренировке нейронной сети есть три парадигмы:
Обучение с учителем
Самообучение (без учителя)
Смешанное
Обучение с учителем предполагает наличие совокупности
тренировочных данных, или наблюдателя из вне, который будет определять
значение выхода нейронной сети.
Тренировочные данные разделяют на две разные части, одна из них
служит для обучения, а вторая для тестирования искусственной нейронной
сети.
При загрузке в нейронную сеть обучающих данных синаптические веса
изменяются и стабилизируются. Это продолжается до тех пор, пока после
предоставления очередной порции данных изменение синаптических весов
не станет не существенным. На этом этапе обучение или тренировка
нейронной сети заканчивается.
Помимо обучения с учителем существует обучение и без него. Данная
модель является наиболее приближенной к биологическим системам, потому
что нет никакого внешнего вмешательства в процесс обучения. Так же, как и
при обучении с учителем процесс состоит в корректировке синаптических
весов.
Нейронная сеть самоогранизуется изменяя взаимосвязи между
нейронами и их количество. При таком обучении часто используется одна из
основных моделей обучения и это конкурентное обучение, также выбирается
определенный метод обучения (метод нейронного газа и др.).
При конкурентном обучении нейрон с наибольшим суммарным
входным сигналом становится приоритетным и переходит в активное
состояние. Такой нейрон называется нейроном – победителем, а сам принцип
действия можно назвать «Победитель получает всё».
Обучение без учителя довольно широко распространено и может быть
использовано в разных сферах деятельности, от сжатия информации, до
анализа инвестиций и распознавания образов. А также данное обучение
является довольно эффективным при кластеризации данных и последующем
их визуальном представлении.
Существует 5 основных моделей обучения нейронных сетей:
Обучение на основе коррекции ошибок
Обучение с использованием памяти
Обучение Хебба
Конкурентное обучение
Метод Больцмана
12
Глава 3. Анализ результатов работы нейронной сети по
моделированию динамики инновационного развития регионов
России
13
Рис. 3.2. Окно Мастера обработки
15
Рис. 3.5. Окно настройки параметров обучения карты Кохонена
16
Откроется окно с выбором способов отображения данных. В текущей
ситуации будет достаточно выбрать: связи кластеров, карта Кохонена,
профили кластеров и статистику. После завершения выбора нужно нажать
кнопку Далее для перехода к следующему шагу. (Рис. 3.7.)
17
Рис. 3.8. Карта разделения на кластеры для 2019 года
19
o Астраханская область
o Волгоградская область
o Республика Дагестан
o Республика Ингушетия
o Кабардино-Балкарская Республика
o Карачаево-Черкесская Республика
o Республика Северная Осетия – Алания
o Чеченская Республика
o Ставропольский край
o Оренбургская область
o Курганская область
o Ханты-Мансийский автономный округ – Югра
o Ямало-Ненецкий автономный округ
o Республика Алтай
o Республика Тыва
o Республика Хакасия
o Алтайский край
o Иркутская область
o Кемеровская область
o Новосибирская область
o Омская область
o Республика Бурятия
o Республика Саха (Якутия)
o Забайкальский край
o Камчатский край
o Приморский край
o Хабаровский край
o Амурская область
o Сахалинская область
o Еврейская автономная область
o Чукотский автономный округ
Таблица 3.1
Статистика средних значений показателей инновационного
развития регионов России по кластерам за период с 2010 по 2019 гг.
20
Номер Средние значения
кластер X1 (млн. X2 (млн. X3 X7 (млн.
X4 (ед.) X5 (чел.) X6 (ед.) X8 (ед.)
а руб.) руб.) (%) руб)
221717,3 257769,6 35,4 172,66 122774,6 3930,66 445821,5 13346,66
0
3 7 3 6 3
38168 81329,67 24,0 47,25 21500,5 486,75 310166,8 10933,75
1
5 8
12248,47 28564,74 19,1 36,12 7461,5 331,5 96808,16 7237,62
2
5
5189,81 11905,2 25,8 12,73 3697,95 142,65 40232,24 2495,6
3
5
2116,07 7514,21 12,9 4,29 1770,89 76,91 12456,22 1352,55
4
2
Среднее
по 18,3 8027,094 57216,25
стране 13348,6 22989,8 2 17,541 1 273,965 7 3089,94
21
Заключение
22
Список литературы
1. Кузнецов Ю.А., Перова В.И., Эйвазова Э.Н. (2014). Нейросетевое
моделирование динамики инновационного развития регионов Российской
Федерации // Региональная экономика: теория и практика. Т. 12. Вып. 4. С.
18– 28.
2. Перова В.И. Нейронные сети. Часть 2. Нижний Новгород: Издательство
Нижегородского госуниверситета. 2012. 111 с.
3. Перова В.И. Нейронные сети. Часть 2. Нейронные сети, обучаемые без
учителя: Учебное пособие. Нижний Новгород: Нижегородский
госуниверситет,2012.–135с.
4. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и
практика 2-е издание. — Москва: Горячая линия-Телеком, 2002. — 382 с.
5. Осовский С. Нейронные сети для обработки информации: Издательство:
Финансы и статистика, 2004. – 344 с.
6. Хайкин С. Нейронные сети: полный курс, 2-е издание: Пер. с англ. -
Издательский дом Вильямс, 2016. – 1104 с.
7. Перова В.И., Зайцева К. В. Исследование динамики инновационной
деятельности регионов России с применением нейросетевого
моделирования // Экономический анализ: теория и практика, 2017, т. 16,
вып. 5, стр. 887–901
8. Перова В.И., Гончарова Д.Г. Нейросетевой анализ динамики
инновационной активности регионов российской федерации //Финансовая
аналитика: проблемы и решения, т. 8, вып. 29, август 2015, С. 56-68
9. Ерошкин А.М., Плисецкий Д.Е. Роль инноваций в стимулировании роста
и повышении конкурентоспособности национальных экономик
//Экономический анализ: теория и практика. 2012. № 27. С. 20–30
10.Шмидт Ю.Д., Лободина О. Н., Грищенко В.В., Нинбо Ц. Об оценке уровня
инновационного развития регионов России // Региональная экономика:
теория и практика. Т. 15. Вып. 2. С. 342– 354.
11.Кузнецов Ю.А., Перова В.И., Ласточкина Е. И. Нейросетевой анализ
динамики инвестиций в основной капитал регионов Российской
Федерации // Региональная экономика: теория и практика, 2017, т. 15, вып.
7, стр. 1327–1343
12.Федеральная служба государственной статистики. URL: https://www.gks.ru
(дата обращения: 28.10.2020).
13.Сайт разработчиков Deductor URL: https://www.basegroup.ru (дата
обращения: 27.10.2020).
23
Приложение №1
Исходные данные за 2019 год
X1 X2 X3 X4 X7
X5 X6 X8
Регион РФ (млн. (млн. (ед. (млн.
руб.) руб.)
(%) )
(чел.) (ед.)
руб)
(ед.)
Белгородская
2631,6 30653 26,7 43 1563 157 150728 2536
область
Брянская область 666,1 2200,84 17,9 17 577 49 16261 2064
Владимирская
5496,6 14058,5 23 9 5048 178 34001,3 7640
область
Воронежская
9656,5 22435 23,5 19 10919 424 57946,9 2795
область
Ивановская область 865,6 195,257 21,5 17 637 99 7938,1 1161
Калужская область 7390,7 5128,46 24,6 18 7738 169 17575,5 4639
Костромская область 125,8 748,3 8,6 0 101 61 5376,43 1560
Курская область 2893,3 3448,96 12,6 0 2451 238 26754,2 1454
Липецкая область 922,1 30970,7 23,8 0 581 65 56295 2921
Московская область 121838 132824 27,5 128 82599 3314 299890 18419
Орловская область 759,1 961,99 22,5 0 806 72 6528,89 1574
Рязанская область 2048,3 4575,84 31,5 13 2507 131 28477,8 1923
Смоленская область 1492,8 3803,15 17,9 27 888 36 15222,4 1863
Тамбовская область 972,7 8225,48 18,1 0 905 80 15999,7 2060
Тверская область 4894,8 4742,57 21,9 8 3647 133 24306,6 4170
Тульская область 8281 56822 22,5 0 4455 121 67069,2 4539
Ярославская область 7162 6531,4 24,6 9 6138 155 29493,3 3132
г. Москва 398462 515946 45,1 233 210497 5298 565806 11649
Республика Карелия 1211,8 4524,89 11 0 1178 43 5719,47 707
Республика Коми 1953,8 8833,77 13,4 0 1447 44 15680,1 1156
Ненецкий
31,5 39,8023 5,3 0 21 0 15,1912 103
автономный округ
Архангельская
1435,9 2535,08 13 0 971 79 13074,4 1065
область
Вологодская область 702,5 1762,92 23,1 12 586 70 23338,4 3167
Калинингpадская
1561,8 5943,63 11,1 0 1120 69 1195,22 930
область
Ленинградская
8614,5 35512,8 15,7 23 7146 67 29055,7 2762
область
Мурманская область 2769,7 1504,47 19 0 2029 27 26705,1 1375
Новгородская
1831,1 1366,51 21,8 31 1538 56 2507,24 2134
область
Псковская область 204,4 284,167 14,6 6 158 53 2639,48 1994
г. Санкт-Петербург 144852 124539 33,7 157 75228 3180 471768 9972
Республика Адыгея 206,7 28,1697 14,5 0 276 12 7264,11 443
Республика
90,7 18,3566 6,1 0 149 23 152,081 134
Калмыкия
Республика Крым 1412,5 764,059 14,2 0 2045 58 194,479 108
Краснодарский край 5772,4 28211,2 10,3 52 6752 487 94788,7 7375
24
Астраханская
809,9 2673,36 14,3 12 830 69 1329,71 669
область
Волгоградская
3727,9 10654,1 15,5 0 3582 277 29336,5 2519
область
15960,
Ростовская область 36551,8 32 17 11974 538 62676,2 3872
6
г. Севастополь 1182,4 554,718 33,3 5 1105 38 888,752 540
Республика Дагестан 1040 313,945 4 15 1442 86 514,816 572
Республика
108 1,8855 20 0 176 1 40,6087 38
Ингушетия
Кабардино-
Балкарская 867 235,82 10,9 0 1101 60 296,684 283
Республика
Карачаево-
Черкесская 515,3 49,4046 10,1 0 623 5 199,159 176
Республика
Республика
Северная Осетия – 414,5 19,9505 4,8 0 563 79 148,825 176
Алания
Чеченская
350,1 12,9412 1,5 0 349 23 26,6019 210
Республика
Ставропольский
1996,2 4555,26 10,6 13 2491 152 42998,8 1981
край
Республика 10299,
28961,8 20,8 13 7555 562 152873 8614
Башкортостан 9
Республика Марий
242,2 822,276 22,7 0 191 85 16364,5 971
Эл
Республика
970,1 8295,56 34,8 0 807 47 63526 2595
Мордовия
Республика 17997,
107098 26,5 54 13212 760 582676 8304
Татарстан 4
Удмуртская
2258,2 5156,06 19,2 0 2036 135 74298,4 6642
Республика
Чувашская
2019,6 9212,5 33,6 12 1445 117 24761,5 3527
Республика
18105,
Пермский край 28086,1 19 45 10058 322 223398 13690
9
Кировская область 3283,5 6425,31 21,9 0 1493 87 29363,7 2835
Нижегородская
88551 155191 26,6 21 41726 352 266444 8639
область
Оренбургская
965,5 13977,1 9,3 0 878 74 41663,7 1265
область
Пензенская область 4364,8 5177,11 24,4 5 5686 142 21014,5 2002
19474,
Самарская область 51893,8 23,6 29 9769 431 164855 8037
6
Саратовская область 6209,6 8083,25 16,4 13 5360 206 13457,7 7734
11510,
Ульяновская область 8916,34 24,5 11 4929 147 41842,4 2081
6
Курганская область 352,1 1141,85 20,4 1 637 48 6935,97 1584
Свердловская 28017, 34943,7 24,1 69 21006 513 168149 13102
25
область 7
Ханты-Мансийский
автономный округ – 3411 31319,3 9,5 29 1462 48 43164,2 2602
Югра
Ямало-Ненецкий
340 7408,05 13,2 15 129 34 14305,2 5178
автономный округ
15119,
13861,3 25,6 32 6086 132 171589 1929
Тюменская область 8
21373,
22292,1 25,3 135 15600 242 96945,4 7584
Челябинская область 1
Республика Алтай 89,8 113,864 9,7 0 89 1 197,587 224
Республика Тыва 310,3 2302 8,8 0 387 0 61,527 69
Республика Хакасия 104,8 171,73 12,6 0 107 18 540,42 643
Алтайский край 2029,2 7056,06 17,1 0 2432 169 13167,2 2598
27103,
Красноярский край 69861,2 14,6 38 7572 411 143246 4275
4
Иркутская область 6087,1 40265,7 15,2 0 4002 155 14362,8 3001
Кемеровская область 1656,8 10158,1 10,3 0 1177 170 17431,1 3963
Новосибирская 25793,
9163,01 17,7 20 21690 503 24521,5 3563
область 4
Омская область 5962,5 18201,1 19,7 10 4445 219 15543 3194
16786,
Томская область 17339,3 27,8 41 9676 288 19491,2 1922
7
Республика Бурятия 880,7 6063,74 17 0 1048 37 2433,15 538
Республика Саха
2974,9 4800,74 14,6 0 2114 7162,82 892
(Якутия) 55
Забайкальский край 402,2 944,03 10,4 0 443 25 342,565 1347
Камчатский край 1408,2 1074,46 15,7 7 907 9 2132,07 720
Приморский край 7281,7 3220,47 19,4 0 5673 164 49766,5 1285
Хабаровский край 2182,7 28532,8 18 0 1751 92 62799 3006
Амурская область 677,3 2507,78 13,8 0 527 55 2560,5 638
Магаданская область 780,2 517,843 26 0 546 8 1618,66 434
Сахалинская область 1072,5 66821,6 10 7 715 9 8924,87 618
Еврейская
573,958 10,8 0 39 338,003 98
автономная область 0 0
Чукотский
417,823 9,4 0 0 888,289 142
автономный округ 0 0
26