Міністерство освіти та науки

Національний авіаційний університет

Навчально-науковий інститут неперервної освіти
Кафедра комп’ютерних інформаційних технологій

Контрольна робота
З дисципліни:
Методи та системи штучного інтелекту

Виконав: студент 4 курсу НН ІНО

Контарьов С.В.

Група УС-401Бз

Спеціальність:6.050101

«Комп’ютерні науки»

Номер залікової книжки: 16.0376

Перевірив: доц. Савченко А.С.

Київ 2019
Нейронные сети
Иску́ сственная нейро́ нная се́ть (ИНС) — математическая модель, а
также её программное или аппаратное воплощение, построенная по
принципу организации и функционирования биологических нейронных
сетей — сетей нервных клеток живого организма. Это понятие возникло при
изучении процессов, протекающих в мозге, и при попытке смоделировать эти
процессы. Первой такой попыткой были нейронные сети У. Маккалока и У.
Питтса. После разработки алгоритмов обучения получаемые модели стали
использовать в практических целях: в задачах прогнозирования,
для распознавания образов, в задачах управления и др.

ИНС представляет собой систему соединённых и взаимодействующих

между собой простых процессоров (искусственных нейронов). Такие
процессоры обычно довольно просты (особенно в сравнении с процессорами,
используемыми в персональных компьютерах). Каждый процессор подобной
сети имеет дело только с сигналами, которые он периодически получает, и
сигналами, которые он периодически посылает другим процессорам. И, тем
не менее, будучи соединёнными в достаточно большую сеть с управляемым
взаимодействием, такие по отдельности простые процессоры вместе
способны выполнять довольно сложные задачи.

 С точки зрения машинного обучения, нейронная сеть представляет собой

частный случай методов распознавания образов, дискриминантного
анализа, методов кластеризации и т. п.
 С математической точки зрения, обучение нейронных сетей —
это многопараметрическая задача нелинейной оптимизации.
 С точки зрения кибернетики, нейронная сеть используется в
задачах адаптивного управления и как алгоритмы для робототехники.

2
 С точки зрения развития вычислительной техники и программирования,
нейронная сеть — способ решения проблемы
эффективного параллелизма.
 А с точки зрения искусственного интеллекта, ИНС является
основой философского течения коннективизма и основным направлением
в структурном подходе по изучению возможности построения
(моделирования) естественного интеллекта с
помощью компьютерных алгоритмов.

Нейронные сети не программируются в привычном смысле этого слова,

они обучаются. Возможность обучения — одно из главных преимуществ
нейронных сетей перед традиционными алгоритмами. Технически обучение
заключается в нахождении коэффициентов связей между нейронами. В
процессе обучения нейронная сеть способна выявлять сложные зависимости
между входными данными и выходными, а также выполнять обобщение. Это
значит, что в случае успешного обучения сеть сможет вернуть верный
результат на основании данных, которые отсутствовали в обучающей
выборке, а также неполных и/или «зашумленных», частично искажённых
данных.

3
Сеть Хопфилда
Нейро́ нная сеть Хо́ пфилда (англ. Hopfield network) —
полносвязная нейронная сеть с симметричной матрицей связей. В процессе
работы динамика таких сетей сходится (конвергирует) к одному из
положений равновесия. Эти положения равновесия определяются заранее в
процессе обучения, они являются локальными минимумами функционала,
называемого энергией сети (в простейшем случае — локальными
минимумами отрицательно определённой квадратичной формы на n-мерном
кубе). Такая сеть может быть использована как автоассоциативная память,
как фильтр, а также для решения некоторых задач оптимизации. В отличие от
многих нейронных сетей, работающих до получения ответа через
определённое количество тактов, сети Хопфилда работают до достижения
равновесия, когда следующее состояние сети в точности равно
предыдущему: начальное состояние является входным образом, а при
равновесии получают выходной образ.

4
Архитектура сети

Нейронная сеть Хопфилда устроена так, что её отклик на

запомненные эталонных «образов» составляют сами эти образы, а если образ
немного исказить и подать на вход, он будет восстановлен и в виде отклика
будет получен оригинальный образ. Таким образом, сеть Хопфилда
осуществляет коррекцию ошибок и помех.

Сеть Хопфилда однослойная и состоит из искусственных нейронов.

Каждый нейрон системы может принимать на входе и на выходе одно из
двух состояний (что аналогично выходу нейрона с пороговой функцией
активации):

Из-за их биполярной природы нейронные сети Хопфилда иногда

называют спинами. Каждый нейрон связан со всеми остальными нейронами.

Особенности процесса обучения сети Хопфилда

Алгоритм обучения сети Хопфилда существенно отличается от таких
классических алгоритмов обучения перцептронов, как метод коррекции
ошибки или метод обратного распространения ошибки. Отличие заключается
в том, что вместо последовательного приближения к нужному состоянию с
вычислением ошибок, все коэффициенты матрицы рассчитываются по одной
формуле, за один цикл, после чего сеть сразу готова к работе.

Некоторые авторы относят сеть Хопфилда к обучению без учителя. Но

это неверно, так как обучение без учителя предполагает отсутствие
информации о том, к каким классам нужно относить стимулы. Для сети
Хопфилда без этой информации нельзя настроить весовые коэффициенты,
поэтому здесь можно говорить лишь о том, что такую сеть можно отнести к
классу оптимизирующих сетей (фильтров). Отличительной особенностью
фильтров является то, что матрица весовых коэффициентов настраивается

5
детерминированным алгоритмом раз и навсегда, и затем весовые
коэффициенты больше не изменяются. Это может быть удобно для
физического воплощения такого устройства, так как на схемотехническом
уровне реализовать устройство с переменными весовыми коэффициентами
на порядок сложнее. Примером фильтра без обратных связей может
служить алгоритм CC4 (Cornel classification), автором которого является
S.Kak.

В сети Хопфилда есть обратные связи и поэтому нужно решать

проблему устойчивости. Веса между нейронами в сети Хопфилда могут
рассматриваться в виде матрицы взаимодействий. В работе Cohen,
Grossberg показано, что сеть с обратными связями является устойчивой, если
её матрица симметрична и имеет нули на главной диагонали. Имеется много
устойчивых систем другого типа, например, все сети прямого
распространения, а также современные рекуррентные сети Джордана и
Элмана, для которых не обязательно выполнять условие на симметрию. Но
это происходит вследствие того, что на обратные связи наложены другие
ограничения. В случае сети Хопфилда условие симметричности является
необходимым, но не достаточным, в том смысле, что на достижение
устойчивого состояния влияет ещё и режим работы сети. Ниже будет
показано, что только асинхронный режим работы сети гарантирует
достижение устойчивого состояния сети, в синхронном случае возможно
бесконечное переключение между двумя разными состояниями (такая
ситуация называется динамическим аттрактором, в то время как устойчивое
состояние принято называть статическим аттрактором).

Нейронная сеть Хопфилда реализует восстановление по искаженному

(зашумленному) образу ближайшего к нему эталонного.

Сеть состоит из одного слоя нейронов, число которых определяет

число выходов и входов сети. Выход каждого нейрона соединен со входами

6
всех остальных нейронов. Входы сети подаются на отдельные входы
нейронов.

Сети Хопфилда отличаются:

1. наличием обратных связей, организованных по принципу «со всех на

все»;
2. обучением сети без обучающих итераций, сводящимся к расчету
весовых коэффициентов;
3. «сходимостью» сети при предъявлении входного вектора к одному из
запомненных в сети эталонов, представляющих множество
равновесных точек, которые являются локальными минимумами
функции энергии, содержащей в себе всю структуру взаимосвязей в
сети.

Рисунок 9. Сеть Хопфилда

Устойчивость сети Хопфилда основывается на теореме Кохонена и

Гроссберга: Достаточными условиями устойчивости сети с обратными
связями являются симметричность ее матрицы весов (wij=wji) и наличие нулей
на главной диагонали матрицы (wii= 0).

В соответствии с этим синаптические веса сети формируются по

формулам:
7
 (31)
.

Функционирование сети выполняется по формулам:

(32)
.

З здесь wij–i-й синаптический весj-го нейрона;xi–i-й элемент входного

сигнала сети; –i-й элементk-го вектора-образца;yj– выходj-го нейрона;N–
размерность входного сигнала;M– количество векторов-образцов.

Тип входных и выходных сигналов – биполярный (+1 и -1).

Динамическое изменение состояний сети выполняется синхронно или

асинхронно. В первом случае все элементы модифицируются одновременно
в дискретные моменты времени, во втором – в произвольные моменты
времени выбираются случайные элементы и модифицируются.

Синхронная сеть Хопфилда представляет собой сеть с дискретными

состояниями и дискретным временем.

Размерности входа и выхода ограничиваются при программной

реализации возможностями вычислительной системы, на которой
моделируется нейросеть, при аппаратной реализации – технологическими
возможностями. Размерности входных и выходных сигналов совпадают.

Тип передаточной функции – жесткая пороговая. Число синапсов в

сети M(M-1), гдеM– количество векторов-образцов. Сеть,
содержащаяNнейронов, может запомнить не болееM= 0.15Nобразов. При
этом запоминаемые образы должны быть не сильно коррелированны, т.е.
существенно отличаться друг от друга.

8
9
Области применения

Области применения сети Хопфилда: ассоциативная память,

адресуемая по содержанию; распознавание образов; задачи оптимизации (в
том числе, комбинаторной оптимизации).

Существуют различные модификации сети Хопфилда как с

дискретными, так и с непрерывными состояниями и временем.

Для увеличения емкости сети и повышения качества распознавания

образов используют мультипликативные нейроны. Сети, состоящие из таких
нейронов, называют сетями высших порядков.

Были предложены также многослойные сети Хопфилда.

Вводится понятие энергии сети, определяемой в соответствии с

функцией Ляпунова:

, (33)

где E – искусственная энергия сети,

wij – вес связи между выходом i-го нейрона и входом j-го,

xj, yj – вход и выход j-го нейрона,

θj – порог j-го нейрона.

Главное свойство энергетической функции, что в процессе эволюции

нейронной сети она уменьшается и достигает минимума (аттрактора), в
котором сохраняет постоянную энергию. Это позволяет решать задачи
комбинаторной оптимизации.

10
 В результате серии итераций сеть должна выделить эталон,
соответствующий входному вектору, или дать заключение о том, что
входные данные не соответствуют ни одному из векторов.

После отдельной итерации общее изменение энергии сети, вызванное

изменением состояний всех нейронов, составит:

(34)
.

Согласно данной формуле любое изменение состояния нейрона либо

уменьшает значение энергии, либо оставляет без изменений.

Сети Хопфилда с непрерывными состояниями отличаются

использованием непрерывной активационной функции (сигмоидальной или
логистической).

Недостатком сети Хопфилда является стремление не только к

глобальным, но и к локальным минимумам функции энергии. Предложены
статистические сети Хопфилда, в которых правила изменения состояния
нейронов задаются на основании статистических данных.

Пример восстановления повреждённого изображения

Если во время обучения сформировать матрицу весовых

коэффициентов (межнейронных связей) на основании эталонных бинарных
векторов, то нейронная сеть в процессе работы под действием описанных
выше полей будет менять состояния нейронов до тех пор, пока не перейдёт к
одному из устойчивых состояний.

Пусть имеется нейронная сеть размерностью , в матрицу связей

записан набор чёрно-белых картинок (−1 — чёрный цвет, +1 — белый), среди
которых есть изображение собачки (рисунок справа). Если установить
11
начальное состояние сети близким к этому вектору (рисунок слева,
искажённый образ), то в ходе динамики нейронная сеть восстановит
исходное изображение (эталон). В этом смысле можно говорить о том, что
сеть Хопфилда решает задачу распознавания образов (хотя, строго говоря,
полученное эталонное изображение ещё нужно превратить в номер класса,
что в некоторых случаях может быть весьма вычислительно ёмкой задачей).

Искажённый образ Эталон

12