Вы находитесь на странице: 1из 5

МИНИСТЕРСТВО ЦИФРОВОГО РАЗВИТИЯ, СВЯЗИ И МАССОВЫХ

КОММУНИКАЦИЙ РОССИЙСКОЙ ФЕДЕРАЦИИ


Федеральное государственное образовательное бюджетное учреждение
высшего профессионального образования
«Санкт-Петербургский государственный университет телекоммуникаций
им. проф. М.А. Бонч-Бруевича»
(СПбГУТ)
Кафедра информационных управляющих систем

ОТЧЁТ
по лабораторной работе №8 на тему:
«Исследование методов классификации данных с помощью нейронной сети»
Вариант №3

Выполнила: студентка группы ИСТ-932, Белкина В.Е.


«___» ________ 2021 г. _________/__________/

Принял: Струев А.М.


«___» ________ 2021 г. _________/Струев А.М./

Санкт-Петербург
2021
Цель работы
Исследование принципов разработки нейронной сети на примере задачи
классификации данных в PyTorch.
Задание
1. Изучить понятие кросс-энтропии и Softmax.
2. Исследовать нейронную сеть при заданных начальных параметрах (см. таблицу).
Найти минимальное значение n_hidden_neurons, при котором сеть дает
неудовлетворительные результаты, т.е. обучение невозможно.
3. Исследовать зависимость точности распознавания от количества нейронов в
скрытом слое, количества слоев, метода активации.
4. При каком значении test_size сеть предсказывает хуже, чем Base Rate (BaseRate –
это вероятность самого многочисленного класса в исходных данных)? И какой
Base Rate у датасета вин?
5. Исследовать зависимость времени обучения от размера батча.
Base Rate = len(wine.target[wine.target == 1]) / len(wine.target)

Таблица. Начальные значения гиперпараметров нейронной сети


Вариант Метод оптимизации Число нейронов Шаг градиентного
в скрытом слое спуска
n_hidden_neuron lr
s
0 ADAM 10 0.01
1 ADAM 20 0.001
2 ADAM 30 0.01
3 ADAM 40 0.001
4 ADAM 50 0.01
5 SGD 10 0.001

2
6 SGD 20 0.01
7 SGD 30 0.001
8 SGD 40 0.01
9 SGD 50 0.001

Теоретическая часть

Общая структура полносвязной нейронной сети представлена на рисунке.


Классификация — понятие в науке, обозначающее разновидность деления
объёма понятия по определённому основанию (признаку, критерию), при котором объём
родового понятия (класс, множество) делится на виды (подклассы, подмножества), а виды,
в свою очередь делятся на подвиды и т.д.

Ход работы
1. Энтропия — это мера хаоса системы. Так как она намного более динамична, чем другие
менее изменчивые величины, например "доля правильных ответов" или даже
среднеквадратическая ошибка, её использование для оптимизации алгоритмов машинного
обучения часто приводит к повышению их скорости работы и производительности.

В машинном обучении её можно встретить повсюду: от построений деревьев решений до


тренировок глубоких нейронных сетей. Энтропия - неотъемлемая часть в сфере
машинного обучения.

Регресс Softmax - это форма логистической регрессии, которая нормализует


входное значение в вектор значений, который следует распределению вероятности, общая
сумма которого равна 1. Выходные значения находятся в диапазоне [0,1], что хорошо,
потому что мы можем чтобы избежать двоичной классификации и учесть как можно
больше классов или измерений в нашей модели нейронной сети. Вот почему softmax
иногда называют полиномиальной логистической регрессией.

3
2.
Минимальное значение n_hidden_neurons, при котором сеть дает неудовлетворительные
результаты это 0, 1, 2

3. От количества нейронов точность не зависит.


Нейронов 3, точность 0,01.

4
Нейронов 10, точность 0,01

4.
5. Начальные параметры считались 52 с. Батч 5 считается 1 м 39 с. Батч 15 считается 39 с.
Можно сделать вывод, что чем больше батч, тем быстрее.
Вывод

Вам также может понравиться