Журнал вычислительной науки Верификация машинного обучения по

проблемам классификации

В этой статье основное внимание уделяется действию нейронов в мозге,

особенно отмене EPSP / IPSP между возбуждающими и тормозными
синапсами, и предлагает новое машинное обучение. Особенность состоит
в том, чтобы рассмотреть один нейрон и дать ему многомерный X j (j=1, 2.)
и его значение функции F(X j) для входного слоя. Многомерный входной
слой и обрабатывающий нейрон связаны двумя линиями с каждым
переменным узлом. Одна строка называется краем EPSP, а другая —
краем IPSP, и вводится параметр Δ j, общий для каждого ребра.
Обрабатывающий нейрон делится взад и вперед на две части, а на
лицевой стороне вокруг входа X определяется импульс, имеющий ширину
2Δ j и высоту 1. Вторая половина обрабатывающего нейрона определяет
импульс, имеющий ширину 2Δ j, центрированную на входе X j и высоту F(X
j) на основе значения, полученного из входного слоя F(XJ). Эта
информация определяется как принадлежащая к группе i. Эта группировка
изучается и сохраняется для сигналов Обучения, а выход сигналов TEST
предсказывается тем, к какой группе принадлежат сигналы TEST.
Параметр Δj оптимизирован таким образом, чтобы точность прогноза
была максимальной. Мы применяем предложенный метод к задаче
классификации и подтверждаем, что он быстрее и точнее, чем обычный
нейросетевой метод.

Оливье Буске

olivier.bousquet@m4x.org

Леон Ботту leon@bottou.org

Введение.

Эта статья является оригинальной и не была представлена в другие

журналы.

В этой статье мы предлагаем новый метод машинного обучения для задач

классификации. Возбуждающие синапсы и тормозные синапсы
существуют в нашем мозге, и обработка в мозге выполняется
соответствующим образом путем балансировки положительного бокового
потенциала, генерируемого каждым из них, и потенциала отрицательной
стороны. На основе этого, мы предлагаем новое машинное обучение.
Предложенный метод и обычная нейронная сеть были применены к
одной и той же задаче классификации, а точность классификации и
скорость обработки были сопоставлены. В результате мы подтвердили,
что предложенный метод имеет преимущества как в точности, так и в
скорости обработки. В дальнейшем мы планируем расширить сферу
применения за пределы проблемы классификации и провести
дальнейшую проверку.
Знакомство

Целью данной статьи является предложение нового машинного обучения

для задач классификации. Проблема классификации заключается в
процессе классификации данных по каждой категории. Включая
распознавание образов, проблема классификации является важной и
популярной проблемой в машинном наклоне. В данной работе мы
рассмотрим, в частности, проблему многоклассовой классификации.
Машинные подходы к задачам классификации включают классификацию
по евклидову расстоянию от репрезентативного вектора, нейронные сети,
деревья решений, байесовские сети, кластеризацию и ансамблевое
обучение.
Классификация по евклидову расстоянию от репрезентативного вектора
считается способной представить каждый класс одним репрезентативным
вектором, когда данные каждого класса локально агрегируются для
каждого класса. Этот метод может быть дополнительно классифицирован
на метод сопоставления шаблонов [1], метод k-ближайшего соседа [2] и т.
Д.
Нейронные сети, особенно иерархические нейронные сети, в настоящее
время являются основным методом классификации, и их развитие во
многом зависит от (1) функции ReLU как функции активации
промежуточного слоя [3], (2) функции Sofmax как функции активации
выходного слоя, (3) функции перекрестной энтропии как функции потерь
[4] и (4) метода стохастического градиентного спуска как алгоритма
оптимизации [5]. В частности, были опубликованы стохастический
градиентный спуск (Stochastic Gradient Descent: SGD) [6], AdaGrad [7], RMS
prop [8], Adam [9] и многие другие обзоры. Хорошо известно, что для
построения нейронных сетей было предложено много моделей, которые
специализируются в различных областях, таких как сверточные нейронные
сети, сжатие данных автокодировщиками и рекуррентные нейронные
сети.
Дерево решений [10] — это метод анализа данных с использованием
древовидной структуры (древовидной диаграммы). Этот метод особенно
используется при интеллектуальном анализе данных, поскольку процесс
классификации в модели классификации может быть легко
интерпретирован. В этом случае дерево решений имеет древовидную
структуру, в которой листья представляют классификацию, а ветви
представляют собой совокупность признаков, ведущих к классификации.
Полезность дерева решений заключается в том, что это
непараметрический метод, который не предполагает распределения
анализируемых данных. Как объяснительные, так и объективные

переменные могут использоваться от номинальных шкал до интервальных

шкал и, как говорят, устойчивы к выбросам. С другой стороны, точность
классификации ниже, чем у других машинных методов обучения, и она не
подходит для линейных данных.
Байесовская сеть является одним из методов вероятностного вывода для
вероятностного вывода событий. Комбинируя множественные связи
между причиной и следствием, явление, которое возникает, когда
причина и следствие влияют друг на друга, визуализируется с точки
зрения сетевых диаграмм и вероятностей. Доступны следующие функции:
1) можно проанализировать и вывести связь между «причиной» и
«следствием», 2) когда предполагается определенная «причина», можно
вывести «следствие», которое может из нее возникнуть, и 3) когда
предполагается ожидаемое «следствие», можно сделать вывод о
«причине», которая может привести к нему.
Кластеризация [11] и [12] характеризуются неконтролируемым
обучением, тогда как классификация нейронных сетей — обучение с
помощью контролируемых сигналов. K-означает [13], пример
кластеризации, представляет собой неиерархический алгоритм
кластеризации, который использует среднее значение кластеров для
классификации в заданное число кластеров k. Он характеризуется
быстрым исполнением и масштабируемостью.
Таким образом, существует множество подходов к проблеме
классификации, и было предложено много более быстрых и точных
методов.
Авторы предложили MOST (Monte Carlo Stochastic) [17], который является
новым методом оптимизации, включающим обучение иерархических
нейронных сетей, применил его к задачам классификации радужной
оболочки глаза и проверил его обоснованность, сравнив его с другими
методами оптимизации. В данной работе мы предлагаем подход к новой
задаче классификации на основе оптимизации MOST, которая не
относится ни к одному из вышеперечисленных, и проверяем ее
обоснованность. В моделировании мы сосредоточились на действии
нейронов в мозге, особенно на отмене EPSP / IPSP между возбуждающими
и тормозными синапсами, и обсудили это со ссылкой на него.
Подробности описаны ниже.

Обзор нейронов, особенно синаптического действия в головном мозге

Понятие механизма передачи между синапсами показано на фиг.1 [14] и

[15]. Аксон от нервной клетки передает импульс электрического
потенциала, а концевой синапс принимает импульс и высвобождает
нейротрансмиттер. Через синаптическую расщелину нейромедиаторы
достигают постсинаптической мембраны дендритов соседних нейронов.
Существует два типа синапсов, связанных с нейронами в головном мозге:
возбуждающие и тормозящие. Как показано на фиг.2 а), возбуждающий
синапс стимулирует натриевые рецепторы на постсинаптической
мембране, высвобождая возбуждающие трансмиттеры, такие как
глутамат, сохраняя при этом постоянный разрыв с постсинаптической
мембраной дендрита следующего нейрона. Рецепторы передают ионы
Na+ и генерируют возбуждающий постсинаптический потенциал (EPSP) в
нейроне. И наоборот, ингибирующие синапсы, показанные на фиг.2 б)
стимулируют хлоридные рецепторы на постсинаптической мембране
путем высвобождения ингибирующих трансмиттеров, таких как GAVA и
глицин. Рецепторы передают Cl-ионы для генерации тормозных
постсинаптических потенциалов (IPSP) в нейроне. Помехи между EPSP и
IPSP приводят к взвешиванию времени, взвешиванию пространства и
аннулированию EPSP/IPSP, как показано в таблице 1. Взвешивание
времени в таблице 1 представляет собой передачу нескольких EPSP с
разницей во времени от одного синапса, и суперпозиция этих EPSP
приводит к EPSPS с большими потенциалами. Пространственные веса в
таблице 1 представляют собой передачу одного импульса EPSP от
нескольких возбуждающих синапсов, которые накладываются. Наконец,
отмена EPSP/IPSP является результатом суперпозиции противоположных
потенциалов в возбуждающих и ингибирующих синапсах, что приводит к
ингибированию. Считается, что эти три действия обеспечивают
соответствующую обработку сигнальной трансдукции в головном мозге. В
данной работе мы предлагаем алгоритм для новой задачи
классификации, говорящий намеком на эту структуру, состоящую из
возбуждающих и тормозных синапсов, и особенно от отмены EPSP/IPSP.

3. Предлагаемая модель
3.1 Случай одной переменной:

В предыдущей главе мы описали природу синапсов в нейронах. Система

предлагаемой модели с использованием в качестве примера одной
переменной функции показана на фиг.3. Во-первых, рассмотрим
множественные (x, F(x)) наборы данных - Обучающие сигналы. Выберите
элемент : (X, F(X)) в качестве одного из элементов. Предлагаемая система
не требует сложных сетей, как обычные нейронные сети. Входному узлу
присваивается переменная X с определенным значением и ее выходом
F(X). Входной узел и операционный узел переменной X, соединены двумя
красными и синими линиями, а красная линия называется EPSP edge, а
синяя линия IPSP edge. Обработка на каждом краю описана ниже со
ссылкой на фиг.4. Ребро Фаха задается параметром Δ с общим значением.
На краю EPSP, показанном на фиг.4 a), известная ступенчатая функция U (x)
смещена на (X-Δ). То есть следующее.ııııı

1)

где

2)

На рисунке красная линия обозначает пошаговую функцию, а желто-

зеленая линия указывает на функцию после обработки.
Далее, на краю IPSP, показанном на рис. 4b), известная ступенчатая
функция, умноженная на -1, смещается на (X+ Δ). Другими словами,
выполните следующие действия.ı

3)
На рисунке, как и в случае с краем EPSP, красная линия указывает на
пошаговую функцию, а желто-зеленая линия указывает на пошаговую
функцию на отрицательной стороне после обработки.
Узел управления на фиг.2 разделен на две части, переднюю часть и
заднюю часть, и в передней части рассчитывается следующее.

4)

Такое лечение соответствует отмене EPSP/IPSP, описанной в предыдущей

главе. Как показано на фиг.4c), представляет собой импульсную функцию
шириной 2 Δ и высотой 1,0, заданной экв. 4). Наконец, в задней части узла
следующее вычисляется путем умножения другого входного F(X) на .ψ φ ψ

5)

Диапазон, определенный из X и F(X)), называется Group . Смысл прост:

«Для переменной x в диапазоне от X-Δ до X+ Δ все выходы F(X)».ıııııı
Далее рассмотрим случай, когда эта обработка применяется к нескольким
элементам данных с использованием фиг.5. Пунктирная красная линия на
рисунке является функцией, стоящей за данными. Как показано на фиг.5
а), (X₁, F (X₁))) определяет группу-1 при определенном Δ.
Эти операции называются обучением и памятью. Далее, если
вышеуказанная обработка выполняется с новыми данными, такими как X 2
и X3, то можно получить Groups-2 и -3. Это повторение называется опытом.
Затем рассмотрим новые данные, представленные красными и зелеными
треугольниками, как показано на фиг.5c). Поскольку данные,
представленные красным треугольником, относятся к группе-2 на рисунке,
ожидается, что выходные данные будут F(X 2).
С другой стороны, данные, представленные зеленым треугольником, не
принадлежат ни к одной группе, поэтому группа-4 на основе новых
данных зеленого треугольника изучается. 5 г) процессы на фиг.5)
называются «переобучением» и «дополнительной памятью». Повторяя
эту операцию, вы можете учиться по обучающим сигналам, делать
прогнозы в заученной группе, а если нет группы, к которой вы
принадлежите, вы можете построить более умную группу одну за другой,
повторяя переучивание. Выше приводится краткое изложение
предлагаемой модели. Хотя наше предложение имеет простую структуру,
как показано на рисунке 3, оно может выражать обработку, аналогичную
процессу, который изучает наш мозг. Если эта операция применяется к
непрерывной дискретизированной переменной с постоянным интервалом
Δ, функция F(x) может быть аппроксимирована в зависимости от
разрешения данного Δ, как показано на фиг.6. Легко представить, что
функция дискретизации асимптотически приближается к исходной
функции F(x) при Δ -0. Предположительно, эта аппроксимация функции с
непрерывными дискретизированными переменными на постоянных
интервалах Δ эквивалентна теореме аппроксимации универсальной
функции [16], которая является теоретической валидностью нейронных
сетей. Обучение в этой модели заключается в оптимизации Δ, связанной с
краями EPSP и IPSP. Эта оптимизация Δ подробно описана в алгоритме в
следующей главе.
3.2 Случай многомерных:

Опять же, основная идея такая же, как и для одной переменной. Случай
двух переменных показан на фиг.7. Входными узлами являются X₁. Xı2ı и
F(X₁, Xı 2ı). Узел X₁, узел Xı2ı и арифметический узел соединены двумя
линиями края EPSP и края IPSP соответственно, как и в случае одной
переменной. Обработка на каждом узле и краю кратко описана ниже:

1) Обработка на EPSP Edge:

6)

2) Обработка на IPSP Edge:

7)

3) Обработка ψ

8)
4) Обработка:φ

9)

Она отличается от одной переменной только тем, что является

произведением импульсных функций переменных X₁ и Xψ 2. Диапазон,
определенный здесь, и его выход F(X₁, Xı2ı) называются групповыми. Как и
в случае с одной переменной, смысл в том, что выходы переменных x₁ и xı
2 в диапазоне: X-X+, (j=1, 2) все F(X₁, X jı Δ j− jı Δ jı 2ı). «Обучение» и «память»

этих двух переменных показаны на фиг.8. Другие операции на фиг.5, такие

как «опыт», «прогнозирование» и «переучивание», такие же, как и для
одной переменной. Это понятие может быть применено к любому числу
переменных, и только произведение импульсной функции увеличивается
по мере увеличения числа переменных в экв. 8). Обучение в случае
нескольких переменных также включает оптимизацию, связанную с краем
EPSP и краем IPSP каждой переменной. Системы, показанные на фиг.3 и 7,
аналогичны структуре перцептрона, но значение функции F(x) является не
выходом, а входом, а обработка на рабочем узле совершенно иная.
Количество оптимизируемых переменных совпадает с количеством
входных параметров, и значительно меньше, чем у обычных нейронных
сетей, что, как ожидается, снизит вычислительную нагрузку. Кроме того,
хорошо известно, что когда обучающий сигнал основан на определенных
данных, на него сильно влияют данные со многими результатами
обучения обычных нейронных сетей. Однако предлагаемый алгоритм
имеет особенность, на которую не влияет объем данных, поскольку веса
полученных групп одинаковы. Далее эта модель, которая является общей
как для одиночных, так и для нескольких переменных, называется
методом одиночной нейронной группировки (SiNG). Δ j
4. Алгоритм предлагаемой модели
4.1 Фундаментальный алгоритм

Объектом данной работы является многоклассовая классификация среди

классификационных задач. Например, в описанной ниже задаче
классификации ирисов цветы классифицируются на три типа на основе
характеристик длины и ширины лепестка и данных о длине и ширине
чашечки, а рукописные номера классифицируются на 10 чисел 0-9 и т. Д.
По этой причине в многоклассовой классификации ввод нескольких
переменных представляет собой числовое значение, представляющее
категорию, в которой классифицируется вывод.
Рассмотрим случай, когда для переменных M (x₁, x2, x3,... xM) и их функция
F(x₁, x2, x3,... хМ). Поток алгоритма показан ниже.
[ШАГ-1] Для каждой переменной (x₁, x2, x3,... xM), задано соответствующее
начальное значение (j=1,2..., M). Δ j
[ШАГ-2] Сигналы Обучения разделены на две группы, другая из которых -
Группа Данных-I, а другая - Группа Данных-II.
[ШАГ-3] Определите диапазон группы с каждым данным: (X₁, Xııı2ı, X3ı..... X
Mı) принадлежащие к группе Данных-. То есть вычисляется диапазон
каждой переменной в группе : [X-), X+]. Вывод переменных в пределах
диапазона (x₁, xıı jı Δ j jı Δ j 2, x3,... xM) то же самое при F (X₁, X2, X3,... ХМ).
Поскольку для группировки используются данные N/2, относящиеся к
группе данных, число групп составляет N/2.ı
[ШАГ-4] Проверьте, принадлежат ли каждый данный из группы данных II к
одной из групп N/2, определенных в [ШАГ-3] Теперь, когда сигналы TEST
(X₁, XΤ 2Τ , X3Τ ..... X MΤ ) , количество переменных X (j=1,... M) удовлетворяет
диапазону каждой переменной в определенной группе: X-, <X <X+
подсчитывается, и если общее число этих переменных равно M, то мы
принадлежим к группе. j Τ ı jı Δ j j Τ jı Δ j

[ШАГ -5] В [ШАГ-4], если (X₁, XΤ 2Τ , X3Τ ..... X MΤ ) принадлежит к одной группе,
выходное значение этой группы используется в качестве выходных
сигналов TEST. С другой стороны, если позиции сигналов Учения плотные
и большие, сигналы TEST могут принадлежать к нескольким группам, как
показано на фиг.9. Фиг.9 (а) показывает, что сигналы TEST принадлежат к
четырем группам, когда они принадлежат к нескольким группам с
одинаковым выходом, и b) показывают, что они принадлежат к группам с
разными выходами, одной группе для выхода A и трем группам для
выхода B. В предлагаемом алгоритме рассмотрим случай, когда на выходе
перекрываются группы A и B, как показано на рис. 9b). Ожидаемое
выходное значение, например 0–9 для числового распознавания,
подсчитывает количество групп, принадлежащих каждой из них. Выход
группы с наибольшим количеством P(k) (k: выходное значение)
используется в качестве конечного выхода сигналов TEST. Δ
[ШАГ-6] В процессах [ШАГ-1] - [ШАГ-5], как показано зеленым
треугольником на фиг.5 с), некоторые данные не принадлежат ни к одной
из групп, определенных из группы данных I. В этом случае выходные
данные должны содержать значения, отличные от тех, которые требуется
классифицировать. Кроме того, мы добавляем этот случай в качестве
новой группы как «переучивание» результата.
[ШАГ-7] На вышеуказанных этапах [ШАГ-1] - [ШАГ-6] значение , для каждой
переменной оптимизировано для максимизации точности
прогнозирования выходных сигналов TEST. Метод оптимизации подробно
описан в следующей главе. Δ j
[ШАГ-8] Кроме того, группы данных I и II, определенные в [ШАГ-2],
заменяются, а значение оптимизируется в [ШАГ-1]-[ШАГ-7] выше, с
группой данных II в качестве сигналов Обучения и группой данных I в
качестве сигналов TEST. Δ j
[ШАГ-9] Сравните , предсказанное из группы данных-I→ группа данных-II с
предсказанным из группы данных -I→ группа данных-II, и используйте
большую группу в качестве окончательной . Δ j Δ j Δ j
[ШАГ-10] В приведенном выше потоке все сигналы Учения разделены на
новые Обучающие и ТЕСТовые сигналы для оптимизации, поэтому в
данном ШАГЕ предсказание основывается на отдельно подготовленных
ТЕСТ-сигналах. Поскольку оптимизация уже определена, вышеуказанные
шаги [ШАГ-1]-[ШАГ-6] просто применяются к сигналам TEST. Δ j Δ j
Это алгоритм предлагаемой модели. Общий поток алгоритма показан на
фиг.10.

4.2 Метод оптимизации -МЕТОД MOST(Monte Carlo Stochastic)

В обычных нейронных сетях весовые коэффициенты, определенные на

ребрах, соединяющих узлы, оптимизируются на основе метода обратного
распространения ошибок с использованием таких алгоритмов, как Adam,
RMSprop и Adamax. В предложенном алгоритме мы применяем метод
оптимизации под названием MOST, который мы разработали отдельно.
MOST всегда генерирует конвергентное решение и имеет такие
особенности, как высокая скорость и высокая точность по сравнению с
генетическим алгоритмом (GA). MOST также использовался для
оптимизации веса обычных нейронных сетей и был протестирован [17].
Предлагаемый метод оптимизации Монте-Карло основан на следующих
положениях. «В целевой функции, определяемой конечным интервалом и
имеющей экстремальное значение конечного числа M, мы рассматриваем
деление предшествующего периода определенного интервала на число N,
достаточно большее M. Когда целевая функция интегрирована в каждый
интервал деления, минимальное значение целевой функции существует в
интервале с наименьшим значением интегрирования. Предполагая это,
рассматривается следующий алгоритм оптимизации. Теперь мы
рассмотрим целевую функцию с несколькими крайностями, как показано
красной линией в левом верхнем углу фиг.11. Эта функция определена в
диапазоне [0, 2.5]. Рассмотрим оптимизацию, чтобы найти наименьшую
точку перегиба в этой области. В случае такой целевой функции, которая
ожидает нескольких точек перегиба, часто получается локальное
решение, и правильная оптимизация не может быть выполнена.

[ШАГ-1] Разделите домен параметра переменной на большое число,

например 20. Интеграция осуществляется в каждом разделенном регионе.
Сравнивая каждую интегральную величину, из них выбирается область
деления, которая принимает наименьшее интегральное значение. На
фиг.11, верхняя часть и второй рисунок, значения интеграции,
заключенные в розовый цвет, являются минимальными. Ожидается, что
существуют переменные параметры, которые минимизируют целевую
функцию в этой области [1.375, 1.5]. И также можно ожидать, что есть
максимум одна крайность.
значение в интервале деления путем деления с достаточно большим
числом. Эта операция предотвращает попадание в локальный раствор. В
этом методе интегрирование вычисляется численным интегрированием,
особенно методом Монте-Карло.
[ШАГ-2] Раздел (в случае фиг.11, площадь [1.375, 1.5]) переменного
параметра, выбранного в ШАГ-1, разделен на два. Поскольку ожидается,
что в этом интервале есть не более одного экстремального значения,
сравните интегрированные значения в двух разделенных интервалах и
снова выберите интервал с меньшим значением интеграции.
[ШАГ-3] В ШАГ-3 процесс ШАГ-2 повторяется для сравнения двух делений
и интегральных значений до тех пор, пока ширина секции деления не
станет <. Среднее значение минимального и максимального значений
интервала в это время представляет собой комбинацию многомерных
параметров, которая минимизирует желаемую целевую функцию. Когда
бисекция повторяется K раз для области, ширина области уменьшается на
(1/2). Например, если определенная ширина равна 1, и вы хотите сойтись
к < , то сходимься при (1/2) < установлен. И.Е. К.> 20.10−6 ❑k❑ 10−6 ❑k❑ 10−6

Такой подход к оптимизации называется MOST. Поток каждой ступени

MOST показан на фиг.10. Если число крайностей целевой функции
достаточно мало или если минимальные и другие крайности достаточно
различны, правильное решение может быть получено даже в том случае,
если ШАГ-1 опущен. Далее мы расширяем метод до целевой функции,
состоящей из нескольких переменных. В случае многомерных величин
поток, показанный на фиг.10, может быть применен как есть. Монте-Карло
интеграция многомерной целевой функции f (x₁, x2, x3,... xn) можно
вычислить следующим образом, используя однородные случайные числа
в каждой области [an, bn] (n = 1, 2,... , M) многомерных чисел: x₁, x2, x3,... xn.

10)
где n — число переменных, а K — общее число вычислений Монте-Карло.
Метод Монте-Карло генерирует случайные числа, соответствующие
каждой переменной даже в функции многомерности, подставляет их в
целевую функцию, складывает и делит на число случайных чисел для
получения значения численного интегрирования.
Таким образом, метод оптимизации, основанный на методе Монте-Карло,
может быть применен к целевой функции, состоящей из нескольких
переменных. Однако в случае многомерности, когда каждая делится сразу
на две, количество делений области становится 2. Например, когда n
равно 100, число делений равно 1,26 . И, реальный расчет становится
затруднительным, когда число n переменной увеличивается, потому что
интеграция повторяется 20 раз, необходимых для схода решения, и в
результате она интегрирует 2" × 20 раз в общей сложности. Чтобы решить
эту проблему, мы сначала разделим только переменную x❑n❑ ×10 301 на две
и зафиксируем область других переменных. Значение интеграции
вычисляется методом Монте-Карло, и выбирается область, в которой
значение интеграции невелико.

Далее фиксируется одна боковая область выбранного x 1, и только

область x2 делится на две. Область переменных после x3 фиксирована.
Кроме того, расчет значения интеграции и область x2 выбираются снова
методом Монте-Карло. Повторяя этот процесс с другими переменными x,
все переменные сходятся в качестве оптимальных решений. В этом случае
число делений равно 2 n, даже если есть n переменных, и 2n20=40 n, даже
если для сходимости требуется 20 раз. Поэтому, даже если n равно 100,
число вычислений составляет всего 4000, а количество вычислений можно
резко сократить без экспоненциального увеличения. Сравнение показано
на фиг.11. Подать заявкуı×× ××
в предложенной модели, описанной выше, погрешность между выходным
и прогнозируемым значением в сигналах TEST, которая определена ниже,
сведена к минимуму вместо интегрального значения для получения
оптимального. Δ j
1 2
Error= (Истинное значение - Прогнозируемое значение) 11) 2 ❑❑

Чем меньше погрешность, тем выше показатель точности. Для этой

функции потерь есть возможность использовать перекрестную энтропию
или тому подобное.
5. Верификация предложенной модели с актуальной проблемой
классификации

Предложенный метод в сочетании с MOST был применен к трем

проблемам: (1) проблема классификации видов цветов ириса, (2) задача
оценки ранга подержанных автомобилей и (3) возрастная классификация
морского ушка. Эти три задачи классификации достаточно надежны в
качестве контрольных задач проверки для нейронных сетей.

5.1 Условия нейронных сетей, используемые для сравнения

В этой статье мы рассчитали проблемы классификации Iris, подержанных

автомобилей и морского ушка, используя сеть с двумя скрытыми слоями
между входным и выходным слоями. Функция LeRu применяется к
первому скрытому слою, а функция SoftMax — ко второму скрытому слою.
Последний выходной слой выбирает слой с большим значением функции
SoftMax в качестве конечного выходного результата. Из разницы между
этим выходным слоем и номером вида цветка фактических данных
обучения примените ту же квадратичную ошибку, что и в экв. 11). Чтобы
свести к минимуму общую погрешность обучающих данных,
оптимизируется весовой коэффициент на линии, соединяющей каждый
узел и узел смещения. ДЛЯ оптимизации используется НАИБОЛЕЕ
описанный выше. Смещение применяется к входному слою и скрытому
слою соответственно.
5.2 Проблема классификации ирисов

Приведены данные о четырех параметрах ириса, а именно: «Длина

чашелистика», «Ширина чашелистика», «Длина лепестка» и «Ширина
лепестка», приведены для классификации ириса на три сорта цветов:
«Версиколор», «Сетоза» и «Виргиника», в зависимости от их
характеристик [18] и [19]. Каждому виду цветов дают номера Versicolor: 1,
Setosa: 2 и Virginica: 3. Сравнение между предложенным методом и
нейронными сетями в этой классификации радужной оболочки показано
на рисунке 13. Скрытые слои -1 и 2 нейронной сети снабжены 3 узлами.
Включая предвзятость, нейронные сети имеют 27 весовых факторов для
определения. Предлагаемый метод требует только определения для
каждого из входов от X до X, а количество оптимизируемых переменных
меньше, чем у нейронной сети. Эта функция снижает вычислительную
нагрузку при оптимизации. Входные данные X-X4 даются четырьмя
входными данными, полученными из репозитория машинного обучения
UC Irvine: «Длина чашелистика», «Ширина чашелистика», «Длина
лепестка» и «Ширина лепестка». Примеры приведены в таблице 2. 150
данных состоят из данных "Versicolor":50, "Setosa":50 и "Virginica":50, из
которых 120 данных используются для обучения в качестве обучающих
сигналов, а остальные 30 данных используются для тестирования. В
сигналах TEST 10 данных были случайным образом выбраны из
первоначальных 150 данных для каждого вида цветов. Оптимизация в
MOST требует указания области поиска и количества случайных чисел,
которые будут использоваться для интеграции Монте-Карло. Для SING
область поиска — 0<<1,0, а число случайных чисел — 50. Для нейронных
сетей область поиска — 2,0<w<2,0, а число случайных чисел — 200.
❑ ❑
Δ 1 Δ4 1❑ 4❑ Δ j ıj

В таблицах 3 и 4 приведены результаты оптимизации весового

коэффициента нейронных сетей: w и ширины SiNG: . В таблицах 3 и 4
приведены результаты оптимизации нейронных сетей: w и SING: .ıj Δ jıj Δ j

В таблице 5 показаны фактические виды цветов и результаты оценки SING

для 30 сигналов TEST с использованием оптимизированных значений. 3
столбца справа от таблицы являются переменными подсчета P (k) группы,
к которой они принадлежат, как показано в [STEP-5] базового алгоритма.
Каждый сигнал TEST может принадлежать к 40 группам. Однако в
диапазоне этого расчета можно судить, что была проведена
соответствующая оптимизация, поскольку не было случая, который
охватывал бы группы различных выходов. В случае применения SING и
нейронных сетей к 30 TEST-сигналам показатели прогностической
точности сравниваются в таблице 6. Нейронные сети имеют хорошую
точность прогнозирования с 99% правильной скоростью в обучении и 93%
правильной скоростью в прогнозировании. Результаты, полученные SiNG,
были на 100% как для обучения, так и для прогнозирования, и было
подтверждено, что были получены более точные результаты. Хорошо
известно, что в нейронных сетях, особенно когда количество узлов
невелико, результаты обучения отличаются для каждой оптимизации, и
обучение необходимо повторять для повышения точности. С другой
стороны, в SING воспроизводимость обучения высока и повторение
обучения не требуется. Δ j
5.3 Проблема рейтинговой классификации подержанных автомобилей

Основываясь на шести параметрах: «Цена покупки», «Цена технического

обслуживания», «Двери», «Вместимость человека», «Размер багажного
багажника» и «Безопасность автомобиля», рейтинг подержанного
автомобиля классифицируется на четыре категории: «Неприемлемо»,
«Приемлемо», «Хорошо» и «Очень хорошо». Присвойте каждому из 4
рангов число 1-4 [20], [21]. 14 сравниваются SING и нейронные сети для
классификации транспортных средств. В нейронных сетях есть 2 скрытых
слоя, каждый с 10 узлами и 8 узлами, а количество оптимизируемых весов
составляет 194. Как описано выше, есть 4 выхода: «Неприемлемо»,
«Приемлемо», «Хорошо» и «Очень хорошо», каждый с рангом 1-4. В
качестве входных данных 995 обучающих данных и 729 тестовых сигналов
были процитированы из репозитория машинного обучения Ирвина. В
качестве примера часть данных обучающих сигналов приведена в таблице
7. В таблице приведены числовые значения для каждого параметра, а в
таблице 8 показано, как определить числовые значения. Например, «Цена
покупки» дается как «Низкая», «Средняя», «Высокая» и «Очень Высокая»,
а 1-4 дается для ее количественной оценки. Как и в случае с Iris,
оптимизация в MOST требует указания области поиска и количества
случайных чисел, которые будут использоваться для интеграции Монте-
Карло. Для SING область поиска была установлена на 0<<5,0, а число
случайных чисел — на 50. Для нейронных сетей область поиска была
установлена на -2,0 <w< 2,0, а число случайных чисел было установлено на
50. Δ jıj
Оптимизированные значения , для SING приведены в таблице 9.
Оптимизированные значения применяются для прогнозирования
выходных сигналов 729 TEST, а точность сравнивается с таблицей 10.
Нейронные сети имеют фиксированную точность прогнозирования с
правильной скоростью 84% в обучении и 81% правильной скоростью в
прогнозировании. С другой стороны, результаты, полученные SING, были
на 100% для обучения и на 94% для прогнозирования, и было
подтверждено, что результаты, полученные SING, были более точными,
чем результаты, полученные нейронными сетями. Δ j

5.4 Проблема классификации кольцев морского ушка

Годовые кольца морского ушка относятся к 8 параметрам: «Пол»,

«Длина», «Диаметр», «Рост», «Весь вес», «Сжатый вес», «Вес внутренних
органов», «Вес раковины» [22] и [23]. Распределение годовых колец
составляет от 1 до 29. В данном случае мы ссылаемся на результат Egemen
Sahin et al. как на расчет нейронных сетей. В качестве входных данных
2000 единиц обучающих данных и 2117 фрагментов тестовых сигналов
были процитированы из репозитория машинного обучения Ирвина. В
таблице 11 приведены примеры обучающих сигналов. Как описано выше,
кольца широко распространены до 1 -29, и предсказать их напрямую
сложно. Поэтому Egement Sahin et al рассматривали ранг колец,
классифицируя их на 3 категории: 9,95 колец 18 и 18 и более. Они также
использовали искусственную нейронную сеть обратного распространения
(FFBANN), сверточную нейронную сеть (CNN) и остаточную нейронную сеть
для повышения точности прогнозирования классификации. Нейронная
сеть состоит из 2 скрытых слоев с 65 и 65 узлами соответственно. В
результате 79% сигналов TEST оказались правильными. Конфигурации
моделей как нейронных сетей, так и SING совпадают с конфигурациями а)
на фиг.13 и 14, и поэтому опущены. В таблице 11 обобщены результаты
оптимизации , а в таблице 12 сравниваются результаты SING и нейронной
сети. Точность SING составила 85%, что было лучше, чем у нейронной сети.
≤≤ Δ j

Обоснованность предложенного метода была проверена применением

SING к вышеуказанным трем случаям и сравнением с результатами
нейронных сетей.

6. Выводы
Мы сосредоточились на действии нейронов, особенно возбуждающих
синапсов и тормозных синапсов, и предложили новый подход к проблеме
классификации: SING. Основные особенности и алгоритмы заключаются в
следующем.
1) Переменная: x отправляется на операционный узел через край EPSP и
край IPSP для генерации импульса шириной 2 и высотой 1,0 Умножьте на
вход F(x) для генерации импульсов F(x) шириной 2 и высотой. Область с
этой информацией называется группой. N групп определяются путем
обработки только N Обучающих сигналов.ı Δ ıı Δ
2) Сравните сигналы TEST с группой, полученной в 1), и используйте высоту
импульса группы, к которой он принадлежит, в качестве выхода сигналов
TEST.
3) Основываясь на этой концепции, оптимизирован таким образом, чтобы
максимизировать точность, чтобы прогнозируемое значение сигналов
TEST соответствовало истинному выходу. Δ
Этот метод был применен к проблемам классификации радужной
оболочки глаза, подержанных автомобилей и морского ушка. Было
подтверждено, что показатель точности составлял 85-100%, что было
выше, чем у обычной нейронной сети. Предложенный метод считается
уникальным и не относится ни к одному из общепринятых алгоритмов
классификационных задач. Хорошо известно, что когда сигнал Обучения
смещен к конкретным данным, на него сильно влияют данные со многими
результатами обучения обычных нейронных сетей. Однако в
предложенном алгоритме веса полученных групп одинаковы, и на него не
влияет объем данных.
В дополнение к настоящей проверке мы планируем продолжить проверку
распознавания образов, применив его к данным изображений и т. Д., И
изучить метод расширения, отличный от проблемы классификации.